(57)【特許請求の範囲】
【請求項１】
入力装置、制御装置、および記憶装置を備えたコンピュータをターム評価装置として機能させるプログラムを記憶した記録媒体において、
前記プログラムは、前記コンピュータに、以下の処理を実行させること、
Ａ）視点プロファイルごとに、対応する複数の関連キーワードを記憶しており、複数の視点プロファイルが与えられると、視点プロファイル毎に、以下のターム抽出対象文書決定処理と、ターム統計量演算処理を実行し、
a1)当該視点プロファイルについて予め定められた関連する複数の関連ワードを用いて、複数の文書データから、ターム抽出対象となる文書を１または２以上特定するターム抽出対象文書決定処理、
a2)前記特定されたターム抽出対象文書に存在するタームの統計量を求めて、前記視点プロファイルにおけるターム統計量として演算するターム統計量演算処理、
Ｂ）前記特定されたターム抽出対象文書に存在する各タームについて、各ベクトル要素の値が前記各視点プロファイルのターム統計量で表され、かつ、前記視点プロファイルの数と同じ次元を持つ数値ベクトルを求め、
Ｃ）前記数値ベクトルを求めたタームについて、その数値ベクトルとともに表示すること、
を特徴とするプログラムを記憶した記録媒体。
【請求項２】
請求項１のプログラムを記憶した記録媒体において、
前記各タームの数値ベクトルに基づいて、特定のベクトル要素だけが所定のしきい値以上または以下の値を持つタームを抽出し、抽出したタームについて、その数値ベクトルとともに表示すること、
を特徴とするもの。
【請求項３】
請求項１プログラムを記憶した記録媒体において、
前記各タームの数値ベクトルに基づいて、特定の複数のベクトル要素がすべて、所定のしきい値以上、または以下の値を持つタームを抽出し、抽出したタームについて、その数値ベクトルとともに表示すること、
を特徴とするもの。
【請求項４】
請求項１のプログラムを記憶した記録媒体において、
前記各タームの数値ベクトルに基づいて、特定のベクトル要素値が他のタームと比べて特異的に大きい、または特異的に小さいタームを抽出し、抽出したタームについて、その数値ベクトルとともに表示すること、
を特徴とするもの。
【請求項５】
請求項１のプログラムを記憶した記録媒体において、
前記複数の視点プロファイルは順列に意味がある視点プロファイルであり、前記各タームの数値ベクトルに基づいて、あるベクトル要素の値がその前後のベクトル要素と比べて所定の差分より大きなタームを抽出し、抽出したタームについて、その数値ベクトルとともに表示すること、
を特徴とするもの。
【請求項６】
請求項１のプログラムを記憶した記録媒体において、
ターム中に含まれる所定の文字列であって、文書作成者の意向が表現される文字列を意向毎に分類して記憶しておき、操作者がいずれかの分類を選択すると、指定された文字列が存在するタームだけを抽出し、抽出したタームについて、その数値ベクトルとともに表示すること、
を特徴とするもの。
【請求項７】
文書データを構成するタームをコンピュータによって評価する評価方法であって、前記コンピュータは視点プロファイルごとに、対応する複数の関連キーワードを記憶しており、以下の処理を実行すること、
Ａ）視点プロファイルが複数与えられると、視点プロファイル毎に、以下のa1)ターム抽出対象文書決定処理と、a2)ターム統計量演算処理を行い、
a1)当該視点プロファイルについて予め定められた関連する複数の関連ワードを用いて、複数の文書データから、ターム抽出対象となる文書を１または２以上特定することによってターム抽出対象文書を決定するターム抽出対象文書決定処理、
a2)特定したターム抽出対象文書に存在するタームの統計量を、その視点プロファイルにおけるターム統計量として演算するターム統計量演算処理、
Ｂ）前記各タームについて、ベクトル要素の値が前記各視点プロファイルのターム統計量で表され、かつ、前記視点プロファイルの数と同じ次元を持つ数値ベクトルを求め、
Ｃ）前記数値ベクトルを求めたタームについて、その数値ベクトルとともに表示すること、
を特徴とするターム評価方法。
【請求項８】
請求項７のターム評価方法において、
動詞または形容詞に付属して用いられ、動詞または形容詞に文書作成者の意向が表現される文字列が操作者から与えられると、指定された文字列が存在するタームであり、かつ、前記各タームの数値ベクトルに基づいて所定の特徴を有するタームを抽出し、抽出したタームについて、その数値ベクトルとともに表示すること、
を特徴とするもの。
【請求項９】
視点プロファイルごとに、対応する複数の関連キーワードを記憶しており、複数の視点プロファイルが与えられると、与えられた視点プロファイルごとに、対応する複数の関連キーワードを用いて、複数の文書データから、ターム抽出対象となる文書を１または２以上特定するターム抽出対象文書特定手段、
前記特定したターム抽出対象文書に存在するタームの統計量を演算して、その視点プロファイルにおけるターム統計量として出力するターム統計量演算手段、
前記各タームについて、前記視点プロファイルの数と同じ次元を持ち、かつ、各ベクトル要素の値が前記各視点プロファイルのターム統計量で表された数値ベクトルを求める数値ベクトル演算手段、
Ｃ）前記数値ベクトル演算手段が演算した各タームについて、その数値ベクトルとともに表示する表示手段、
を備えたことを特徴とするターム評価装置。
【請求項１０】
請求項９のターム評価装置において、
前記表示手段は、前記各タームの数値ベクトルに基づいて、特定のベクトル要素だけが所定のしきい値以上または以下の値を持つタームを抽出し、抽出したタームについて、その数値ベクトルとともに表示すること、
を特徴とするもの。
【請求項１１】
請求項９のターム評価装置において、
前記表示手段は、前記各タームの数値ベクトルに基づいて、特定の複数のベクトル要素がすべて、所定のしきい値以上、または以下の値を持つタームを抽出し、抽出したタームについて、その数値ベクトルとともに表示すること、
を特徴とするもの。
【請求項１２】
請求項９のターム評価装置において、
前記表示手段は、前記各タームの数値ベクトルに基づいて、特定のベクトル要素値が他のタームと比べて特異的に大きい、または特異的に小さいタームを抽出し、抽出したタームについて、その数値ベクトルとともに表示すること、
を特徴とするもの。
【請求項１３】
請求項９のターム評価装置において、
前記複数の視点プロファイルは順列に意味がある視点プロファイルであり、
前記表示手段は、前記各タームの数値ベクトルに基づいて、あるベクトル要素の値がその前後のベクトル要素と比べて所定の差分より大きなタームを抽出し、抽出したタームについて、その数値ベクトルとともに表示すること、
を特徴とするもの。
【請求項１４】
請求項９のターム評価装置において、
ターム中に含まれる所定の文字列であって、文書作成者の意向が表現される文字列を意向毎に分類して記憶しておき、
前記表示手段は、操作者によりいずれかの分類が指定されると、指定された文字列が存在するタームだけを抽出し、抽出したタームについて、その数値ベクトルとともに表示すること、
を特徴とするもの。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、文書データから抽出したタームを評価するターム評価装置に関し、特にタームの評価手法に関する。
【０００２】
【従来技術および発明が解決しようとする課題】
今日、多くの文書情報をデータとして記憶しておき、これらの文書情報から所望の情報や知識を発見すること（以下、マイニングという）が試みられている。その１つの手法として、文書中からタームを抽出して、抽出したタームに基づいて、前記マイニングをおこなうことが提案されている。
【０００３】
しかし、文書中には雑多なタームが存在し、タームの抽出基準について、確立された手法が存在しなかった。したがって、抽出したタームを評価することができなかった。
【０００４】
この発明は上記問題を解決し、複数の文書からの抽出したタームを評価できるターム評価装置またはその方法を提供することを目的とする。さらに、複数の文書からターム抽出対象文書を決定することを目的とする。
【０００５】
【課題を解決するための手段および発明の効果】
１）本発明にかかるプログラムを記憶した記録媒体においては、前記プログラムは、前記コンピュータに、以下の処理を実行させる。Ａ）視点プロファイルごとに、対応する複数の関連キーワードを記憶しており、複数の視点プロファイルが与えられると、視点プロファイル毎に、以下のターム抽出対象文書決定処理と、ターム統計量演算処理を実行し、a1)当該視点プロファイルに関連する複数の関連ワードを用いて、複数の文書データから、ターム抽出対象となる文書を１または２以上特定するターム抽出対象文書決定処理、a2)前記特定されたターム抽出対象文書に存在するタームの統計量を求めて、前記視点プロファイルにおけるターム統計量として演算するターム統計量演算処理、Ｂ）前記特定されたターム抽出対象文書に存在する各タームについて、各ベクトル要素の値が前記各視点プロファイルのターム統計量で表され、かつ、前記視点プロファイルの数と同じ次元を持つ数値ベクトルを求め、前記数値ベクトルを求めたタームについて、その数値ベクトルとともに表示する。
このように、視点プロファイル毎に前記文書データから抽出対象文書を決定することにより、前記視点プロファイルに関連する複数の関連ワードに合致した文書からターム抽出が可能となる。また、前記各タームについて、各ベクトル要素の値が前記各視点プロファイルのターム統計量で表され、かつ、前記視点プロファイルの数と同じ次元を持つ数値ベクトルを求め、前記数値ベクトルを求めたタームについて、その数値ベクトルとともに表示することにより、複数の文書からの抽出したタームを評価することができる。また、前記タームの選別分類した分析も可能となる。
【０００６】
２）本発明にかかるプログラムを記憶した記録媒体においては、前記各タームの数値ベクトルに基づいて、特定のベクトル要素だけが所定のしきい値以上または以下の値を持つタームを抽出し、抽出したタームについて、その数値ベクトルとともに表示する。したがって、前記ベクトルに基づいて、操作者の特定の興味に固有のタームを抽出して表示することができる。
【０００７】
３）本発明にかかるプログラムを記憶した記録媒体においては、前記各タームの数値ベクトルに基づいて、特定の複数のベクトル要素がすべて、所定のしきい値以上、または以下の値を持つタームを抽出し、抽出したタームについて、その数値ベクトルとともに表示する。したがって、操作者の特定の興味に共通するタームを抽出して表示することができる。
【０００８】
４）本発明にかかるプログラムを記憶した記録媒体においては、前記各タームの数値ベクトルに基づいて、特定のベクトル要素値が他のタームと比べて特異的に大きい、または特異的に小さいタームを抽出し、抽出したタームについて、その数値ベクトルとともに表示する。したがって、抽出されたタームから操作者の特定の興味に特に関係するタームを抽出し、抽出したタームについて、その数値ベクトルとともに表示することができる。
【０００９】
５）本発明にかかるプログラムを記憶した記録媒体においては、前記複数の視点プロファイルは順列に意味がある視点プロファイルであり、前記各タームの数値ベクトルに基づいて、あるベクトル要素の値がその前後のベクトル要素と比べて所定の差分より大きなタームを抽出し、抽出したタームについて、その数値ベクトルとともに表示する。したがって、１の視点プロファイルにおける時系列的にある時期に変化するタームを抽出して表示することができる。
【００１０】
６）本発明にかかるプログラムを記憶した記録媒体においては、ターム中に含まれる所定の文字列であって、文書作成者の意向が表現される文字列を意向毎に分類して記憶しておき、操作者がいずれかの分類を選択すると、指定された文字列が存在するタームだけを抽出し、抽出したタームについて、その数値ベクトルとともに表示する。したがって、文書作成者の意向が表現される文字列を含むタームを抽出して表示することができる。これにより、操作者の意向に合致したターム抽出が容易となる。かかる文書作成者の意向が表現される文字列としては、助動詞、接尾語、助数詞等がある。
【００１１】
７）本発明にかかるターム評価方法においては、文書データを構成するタームをコンピュータによって評価する方法であって、前記コンピュータは視点プロファイルごとに、対応する複数の関連キーワードを記憶しており、以下の処理を実行する。Ａ）関連する複数の関連ワードが定められた視点プロファイルが複数与えられると、視点プロファイル毎に、以下のa1)ターム抽出対象文書決定処理と、a2)ターム統計量演算処理を行う。a1)当該視点プロファイルに関連する複数の関連ワードを用いて、複数の文書データから、ターム抽出対象となる文書を１または２以上特定することによってターム抽出対象文書を決定するターム抽出対象文書決定処理、a2)特定したターム抽出対象文書に存在するタームの統計量を、その視点プロファイルにおけるターム統計量として演算するターム統計量演算処理。Ｂ）前記各タームについて、ベクトル要素の値が前記各視点プロファイルのターム統計量で表され、かつ、前記視点プロファイルの数と同じ次元を持つ数値ベクトルを求め、前記数値ベクトルを求めたタームについて、その数値ベクトルとともに表示する。
このように、視点プロファイル毎に前記文書データから抽出対象文書を決定することにより、前記視点プロファイルに関連する複数の関連ワードに合致した文書からターム抽出が可能となる。また、前記各タームについて、各ベクトル要素の値が前記各視点プロファイルのターム統計量で表され、かつ、前記視点プロファイルの数と同じ次元を持つ数値ベクトルを求め、前記数値ベクトルを求めたタームについて、その数値ベクトルとともに表示することにより、複数の文書からの抽出したタームを評価することができる。また、前記タームの選別分類した分析も可能となる。
【００１２】
８）本発明にかかる文書データを構成するタームの評価方法においては、動詞または形容詞に付属して用いられ、動詞または形容詞に文書作成者の意向が表現される文字列が与えられると、指定された文字列が存在するタームだけを抽出し、抽出したタームについて、その数値ベクトルとともに表示する。したがって、文書作成者の意向が表現される文字列を含むタームを抽出することができる。これにより、操作者の意向に合致したターム抽出が容易となる。
【００１３】
９）本発明にかかるターム評価装置においては、ターム抽出対象文書特定手段は、視点プロファイルごとに、対応する複数の関連キーワードを記憶しており、複数の視点プロファイルが与えられると、与えられた視点プロファイルごとに、対応する複数の関連キーワードを用いて、複数の文書データから、ターム抽出対象となる文書を１または２以上特定する。ターム抽出対象文書特定手段は、与えられた視点プロファイルに基づいて、視点プロファイル毎に、複数の文書データから、ターム抽出対象となる文書を１または２以上特定する。ターム統計量演算手段は、前記特定したターム抽出対象文書に存在するタームの統計量を演算して、その視点プロファイルにおけるターム統計量として出力する。評価手段は、前記各タームについて、前記視点プロファイルの数と同じ次元を持ち、かつ、各ベクトル要素の値が前記各視点プロファイルのターム統計量で表された数値ベクトルを求め、Ｃ）前記数値ベクトルを求めたタームについて、その数値ベクトルとともに表示する。
このように、視点プロファイル毎に前記文書データから抽出対象文書を決定することにより、前記視点プロファイルに関連する複数の関連ワードに合致した文書からターム抽出が可能となる。また、前記各タームについて、各ベクトル要素の値が前記各視点プロファイルのターム統計量で表され、かつ、前記視点プロファイルの数と同じ次元を持つ数値ベクトルを求め、前記数値ベクトルを求めたタームについて、その数値ベクトルとともに表示する。これにより、各タームを前記複数の視点プロファイルを視点とした統計量で表すことにより、各種の数値演算が可能となる。これにより、複数の文書からの抽出したタームを評価することができる。また、前記タームの選別分類した分析も可能となる。
１０）本発明にかかるターム評価装置においては、前記表示手段は、前記各タームの数値ベクトルに基づいて、特定のベクトル要素だけが所定のしきい値以上または以下の値を持つタームを抽出し、抽出したタームについて、その数値ベクトルとともに表示する。したがって、前記ベクトルに基づいて、操作者の特定の興味に固有のタームを抽出して表示することができる。
１１）本発明にかかるターム評価装置においては、前記表示手段は、前記各タームの数値ベクトルに基づいて、特定の複数のベクトル要素がすべて、所定のしきい値以上、または以下の値を持つタームを抽出し、抽出したタームについて、その数値ベクトルとともに表示する。したがって、操作者の特定の興味に共通するタームを抽出して表示することができる。
１２）本発明にかかるターム評価装置においては、前記表示手段は、前記各タームの数値ベクトルに基づいて、特定のベクトル要素値が他のタームと比べて特異的に大きい、または特異的に小さいタームを抽出し、抽出したタームについて、その数値ベクトルとともに表示する。したがって、抽出されたタームから操作者の特定の興味に特に関係するタームを抽出し、抽出したタームについて、その数値ベクトルとともに表示することができる。
１３）本発明にかかるターム評価装置においては、前記複数の視点プロファイルは順列に意味がある視点プロファイルであり、前記表示手段は、前記各タームの数値ベクトルに基づいて、あるベクトル要素の値がその前後のベクトル要素と比べて所定の差分より大きなタームを抽出し、抽出したタームについて、その数値ベクトルとともに表示する。したがって、１の視点プロファイルにおける時系列的にある時期に変化するタームを抽出して表示することができる。
１４）本発明にかかるターム評価装置においては、ターム中に含まれる所定の文字列であって、文書作成者の意向が表現される文字列を意向毎に分類して記憶しておき、前記表示手段は、操作者によりいずれかの分類が指定されると、指定された文字列が存在するタームだけを抽出し、抽出したタームについて、その数値ベクトルとともに表示する。したがって、文書作成者の意向が表現される文字列を含むタームを抽出して表示することができる。これにより、操作者の意向に合致したターム抽出が容易となる。かかる文書作成者の意向が表現される文字列としては、助動詞、接尾語、助数詞等がある。
【００２０】
【発明の実施の形態】
１．機能ブロック図の説明本発明の一実施形態を図面に基づいて説明する。図１に示すターム評価装置１は、文書記憶手段３、ターム統計量演算手段５、評価手段７、分析手段８および報知手段９を備えている。
【００２１】
文書記憶手段３は、複数の文書を記憶する。ターム統計量演算手段５は、与えられた検索条件に基づいて、文書記憶手段３に記憶された複数の文書データから、ターム抽出対象となる文書を１または２以上特定し、特定したターム抽出対象文書に存在するタームの統計量を、その検索条件におけるターム統計量として演算する。評価値決定手段７は、ターム統計量演算手段５から異なる複数の検索条件におけるターム統計量が与えられると、与えられた検索条件数と同じ次元を持つ数値ベクトルで各タームの評価値を決定する。
【００２２】
分析手段８は、前記各タームの評価値に基づいてタームを分析する。報知手段９は前記分析結果を報知する。
【００２３】
本実施形態においては、ターム統計量演算手段は５は、視点プロファイルとこの視点プロファイルに関連する複数の関連ワードで構成される視点プロファイル対応情報を複数記憶しており、検索条件として視点プロファイルが与えられると、前記複数の関連ワードを用いて、前記ターム抽出対象文書を特定する。
【００２４】
このように、ターム抽出文書を視点プロファイルで絞り込むことにより、抽出タームが操作者の興味のある視点プロファイルに合致して抽出される。また、各タームの評価値を数値ベクトルで表すことにより、タームの分析が可能となる。
【００２５】
本実施形態においては、報知手段として表示手段を採用したが、これ以外の報知手段を採用してもよい。
【００２６】
２．ハードウェア構成
(2.1)概略
図１に示すターム評価装置１のハードウェア構成について説明する。図２に示すコンピュータシステム４０は、入力装置４１、制御装置４３、表示装置４５および記憶装置４７を備えている。入力装置４１は、各種の命令を入力するためのものである。記憶装置４７には、与えられた命令に基づいて所定の処理を行うプログラムが記憶される。制御装置４３は、記憶装置４７に記憶されたプログラムに基づいて所定のデータ処理を行う。
【００２７】
(2.2)詳細
図３に、図２に示すコンピュータシステム４０をＣＰＵを用いて実現したハードウェア構成の一例を示す。
【００２８】
コンピュータシステム４０は、ＣＰＵ２３、メモリ２７、ハードディスク２６、ＣＲＴ３０、ＦＤＤ２５、キーボード２８、マウス３１およびバスライン２９を備えている。ＣＰＵ２３は、ハードディスク２６に記憶された制御プログラムにしたがいバスライン２９を介して、各部を制御する。
【００２９】
この制御プログラムは、ＦＤＤ２５を介して、プログラムが記憶されたフレキシブルディスク２５ａから読み出されてハードディスク２６にインストールされたものである。なお、フレキシブルディスク以外に、ＣＤ−ＲＯＭ、ＩＣカード等のプログラムを実体的に一体化したコンピュータ可読の記録媒体から、ハードディスクにインストールさせるようにしてもよい。さらに、通信回線を用いてダウンロードするようにしてもよい。
【００３０】
本実施形態においては、プログラムをフレキシブルディスクからハードディスク２６にインストールさせることにより、フレキシブルディスクに記憶させたプログラムを間接的にコンピュータに実行させるようにしている。しかし、これに限定されることなく、フレキシブルディスクに記憶させたプログラムをＦＤＤ２５から直接的に実行するようにしてもよい。なお、コンピュータによって、実行可能なプログラムとしては、そのままのインストールするだけで直接実行可能なものはもちろん、一旦他の形態等に変換が必要なもの（例えば、データ圧縮されているものを、解凍する等）、さらには、他のモジュール部分と組合して実行可能なものも含む。
【００３１】
ハードディスク２６には、プログラム記憶部２６ａ、対応表記憶部２６ｂ、文書記憶部２６ｃ、評価記憶部２６ｄを有する。プログラム記憶部２６ａには、後述するプログラムが記憶されている。対応表記憶部２６ｂには、図４に示すような複数の視点プロファイルが記憶されている。各視点プロファイルは対応する複数の関連キーワードが記憶されている。文書記憶部２６ｃには評価対象の文書が複数記憶されている。本実施形態においては、各文書は、作成日時、その文書のタイトルおよび各文書の内容で構成されている。評価記憶部２６ｄには各タームの評価結果が記憶される。メモリ２７にはその他、各種の演算結果等が記憶される。
【００３２】
３．フローチャート
つぎに、ハードディスク２６のプログラム記憶部２６ａに記憶されているプログラムについて、図５〜図７のフローチャートを用いて説明する。以下では、視点プロファイルとして「好景気」、「不景気」を用いて、各タームを評価する場合を、例として説明する。
【００３３】
まず、操作者は複数のクエリを入力する。本実施形態においては、クエリに視点プロファイルを採用したので、図８に示すような選択ボックス６２をＣＲＴ３０に表示させて、視点プロファイル「好景気」、「不景気」を選択すればよい。図８は、視点プロファイル「好景気」を選択後、視点プロファイル「不景気」を選択した状態を示す。
【００３４】
図８に示す選択ボックス６２に、視点プロファイルが存在しない場合には、ボタン６４をクリックして、必要な視点プロファイルおよび対応する関連キーワードを追加するようにすればよい。これにより、図４に示す対応表に追加される。
【００３５】
なお、存在する視点プロファイルについても、関連キーワードを追加削除する場合には、関連キーワードボックス６３に追加または削除するようにすればよい。このように、操作者の興味のある視点からの視点プロファイルを作成して、ターム抽出対象文書を特定することにより、操作者の望む視点に則った文書を抽出することができる。
【００３６】
ＣＰＵ２３は、複数のクエリが入力されたと判断すると（図５ステップＳ１）、クエリ番号ｋを初期化する（ステップＳ３）。そして、０番目のクエリである視点プロファイル「好景気」について、抽出対象文書を決定する（ステップＳ５）。抽出対象文書の決定処理について、図６を用いて説明する。本実施形態においては、以下に述べるように、視点プロファイルとの類似度を判断して、所定のしきい値を越える類似度の文書をターム抽出文書として決定した。
【００３７】
ＣＰＵ２３は、文書番号ｍを初期化する（ステップＳ５０）。各文書のベクトル化処理が終了しているか否かを判断する（ステップＳ５１）。この場合、ベクトル化処理は、終了していないので、ステップＳ５３に進み、各文書について形態素解析を行い、文書中に出現する単語（ターム）を抽出する。そして、抽出したタームについて、ｔｆｉｄｆ法を用いて重要タームを決定する（ステップＳ５５）。ｔｆｉｄｆ法とは、情報検索におけるキーワード決定の手法であり、ある文書中におけるそのタームの出現頻度を示すｔｆ（term  frequency）および全文書中で当該タームがいかに少ない文書でしか現れないかの希少性を示すｉｄｆ（inverse  document  frequency）を用いて、タームの重み付けをする手法である。
【００３８】
このようにして抽出した重要タームを用いて、各文書を重要タームの数と同じ次元の数値ベクトルとしてベクトル化する。例えば、重要タームが１００ある場合に１００次元の数値ベクトルが得られる。なお、文書によっては決定された重要タームを含んでいない場合がある。この場合には、その文書のその次元の値は０（疎）となる。ＣＰＵ２３は、このようにして得られた数値ベクトルをメモリ２７に記憶しておく。
【００３９】
つぎにＣＰＵ２３は、視点プロファイルをベクトル化する（ステップＳ５９）。本実施形態においては、ｋ番目の視点プロファイルの全関連キーワードをハードディスク２６から読み出して、視点プロファイル内の各関連キーワードの数と同じ次元の数値ベクトルとしてベクトル化した。本実施形態においては、視点プロファイル内の各関連キーワードのｔｆと全文書におけるｉｄｆから、前記各関連キーワード毎のｔｆｉｄｆ値を求め、前記関連キーワードの数と同じ次元の数値ベクトルとしてベクトル化した。
【００４０】
つぎに、視点プロファイルとｍ番目の文書との類似度を演算する（ステップＳ６１）。かかる類似度は、ステップＳ５７で求めた数値ベクトルとステップＳ５９で求めた数値ベクトルの内積を演算することにより求めることができる。
【００４１】
つぎにＣＰＵ２３は、全文書について類似度演算が終了したか否か判断する（ステップＳ６３）。全文書について類似度演算が終了していなければ、文書番号ｍをインクリメントし（ステップＳ６５）、ステップＳ６１以下の処理を行う。
【００４２】
ステップＳ６３にて、全文書について類似度演算が終了すると、所定のしきい値を越える文書を抽出文書として決定する（ステップＳ６７）。
【００４３】
つぎに、ＣＰＵ２３は、抽出対象文書に存するタームの統計量を演算する。かかる演算処理について、図７を用いて説明する。
【００４４】
ＣＰＵ２３は、注目文書番号ｉ、注目ターム番号ｊを初期化する（ステップＳ２５）。ｉ番目の文書を注目文書とする（ステップＳ２７）。注目文書のｊ番目のタームを注目タームとする（ステップＳ２９）。
【００４５】
ＣＰＵ２３は、注目タームが注目文書で初めて出現したタームか否か判断する（ステップＳ３１）。注目文書で初めて出現したタームである場合には、ターム出現文書数ｂｉをインクリメントする（ステップＳ３３）。
【００４６】
ＣＰＵ２３は、注目タームが、メモリ２７の抽出ターム表（図示せず）に存在するか否か判断する（ステップＳ３５）。既に存在する場合には、そのタームの出現頻度ｔｉをインクリメントする（ステップＳ３７）。一方、存在しない場合には、抽出ターム表に追加する（ステップＳ３９）。
【００４７】
ＣＰＵ２３は、注目タームが最終タームであるか否か判断する（ステップＳ４１）。最終タームでなければ、注目ターム番号ｊをインクリメントして（ステップＳ４３）、ステップＳ２９以下の処理を繰り返す。一方、最終タームであれば、全文書について、ターム抽出終了したか否か判断する（ステップＳ４５）。ターム抽出終了していない文書が残っている場合には、注目文書番号ｉをインクリメントし（ステップＳ４７）、注目ターム番号ｊを初期化し（ステップＳ４９）、ステップＳ２７以下の処理繰り返す。これにより、各タームについて、出現文書数ｂｉおよび出現頻度ｔｉが求められる。
【００４８】
つぎに、ＣＰＵ２３は、全クエリについて処理が終了したか否か判断する（図５ステップＳ９）。全クエリについて処理が終了してない場合には、ＣＰＵ２３は、クエリ番号ｋをインクリメントし（ステップＳ１１）、ステップＳ５以下の処理を繰り返す。
【００４９】
全クエリについて処理が終了すると、ＣＰＵ２３は、各タームについて各クエリに対する数値ベクトル化処理を行う（ステップＳ１３）。本実施形態においては、タームの数値ベクトル化のベクトル要素としては、1)ターム出現頻度ｔｉ、2)ターム出現文書数ｂｉ、3)ターム出現頻度ｔｉ／ターム出現文書数ｂｉ、4)関連度のいずれかを選択できるようにした。
【００５０】
関連度とは、視点プロファイルを構成する関連ワード群に対して文書中で関連する程度を表す数値であり、評価するアルゴリズムを変更することによって異なる。本実施形態においては、ターム出現文書数ｂｉおよび全文書における希少度に基づいて求めるようにした。したがって、ターム出現文書数が多いほど関連度が高くなり、ターム出現文書数が少ないと関連度が低くなる。また、ターム抽出文書以外の文書にはあまり存在せず、ターム抽出文書に存在するタームは関連度が高くなる。すなわち、ターム出現文書数が高く、かつ、ターム抽出文書以外の文書には、あまり存在せず、ターム抽出文書に数多く存在する場合に、関連度が高くなる。
【００５１】
なお、1)ターム出現頻度ｔｉおよび3)ターム出現頻度ｔｉ／ターム出現文書数ｂｉは、クエリセットに使用されたキーワードと共起するタームの抽出、すなわち、操作者の興味に関連する事象の抽出に役立つものと考えられる。また、2)ターム出現文書数ｂｉは、操作者の興味に関連する主要なトピックと、その発生件数の抽出に役立つものと考えられる。4)関連度は、特に操作者の興味と希少な関連を持つ事象の抽出に役立つものと思われる。
【００５２】
図９に、各タームを数値ベクトルで表した例を示す。この場合、視点プロファイル「好景気」、「不景気」について、ベクトル要素として関連度を求め、しきい値はいずれかが０以上のもの（全てのターム）が、表示領域７２に表示されている。かかるベクトル要素およびしきい値の設定は、しきい値設定ボタン７１をマウスでクリックすれば、しきい値設定ダイアログ７４が表示されるので、操作者が所望の条件を設定することができる。
【００５３】
図１０に設定条件を変更して、共通タームを抽出した場合の表示例を示す。図１０では、ベクトル要素としてターム出現文書数ｂｉで、しきい値はすべてのクエリが１以上のものが、表示領域７２に表示されている。このように、指定された複数のベクトル要素がすべて、操作者より指定されたしきい値以上、または以下の値を持つタームを共通タームという。
【００５４】
共通タームは、全てのクエリに共通して抽出されるタームであり、本実施形態のように、クエリをユーザの興味を表す視点プロファイルとした場合には、ユーザのすべての興味に共通するターム（トピック）であることが多い。
【００５５】
図１１に設定条件を変更して、固有タームを抽出した場合の表示例を示す。図１１では、ベクトル要素としてターム出現文書数ｂｉで、しきい値は１つのクエリのみ１以上のものが、表示領域７２に表示されている。このように、特定のベクトル要素だけが操作者より指定されたしきい値以上または以下の値を持つタームを固有タームという。
【００５６】
固有タームは、対応するクエリによってのみ抽出されるタームであり、本実施形態のように、クエリをユーザの興味を表す視点プロファイルとした場合には、ユーザの特定の興味に固有のタームであることが多い。
【００５７】
つぎに、ＣＰＵ２３は、特徴タームを抽出する（図５ステップＳ１５）。特徴タームの抽出は、操作者が抽出基準を与えるようにすればよい。本実施形態においては、特定の文字列を含むタームを抽出するようにした。この場合は、フィルタリング条件を設定することにより、以下のようにして、特徴ターム抽出が行われる。
【００５８】
図１２に文字列「会社」を含むタームのみを抽出した場合の表示例を示す。この場合、フィルタリング条件を設定するには、操作者がフィルタボタン７５をクリックすると、フィルタリングダイアログ７６が表示されるので、文字列フィルタとして「会社」を設定するようにすればよい。
【００５９】
フィルタリング条件としては、文字列フィルタ以外に、辞書フィルタ、パターンフィルタを単独または組み合わせて設定することができる。
【００６０】
辞書フィルタとは、操作者が望む１または２以上の用語を記憶した用語集である。本実施形態においては、辞書フィルタに、図１３に示すようなユーザの意向毎に、対応する助動詞をあらかじめ記憶しておき、操作者がこれを選択できるようにした。具体的には、操作者が意向として「希望」を選択すると、「たい」の複数の用語がｏｒ条件で文字列フィルタとしてフィルタリング処理がなされる。これにより、用語「たい」を含むターム、例えば、「知りたい」、「調べたい」などのタームを抽出することができる。
【００６１】
このように、マイニングを行う場合の指針となる助動詞をあらかじめ辞書化しておくことにより、マイニングが容易となる。
【００６２】
また、辞書フィルタに、ユーザの意向毎に、あらかじめ１または２以上の接尾語を記憶しておき、選択できるようにしてもよい。接尾語とは、ある語の末尾に添えて意味を添え、またはある品詞に一定の資格を与える独立しない語をいう。例えば、「的」、「性」等である。これにより、「具体的」や「革新性」等のタームを抽出することができる。そして、かかるタームが文書中でどのような単語に係っているかを知ることができる。
【００６３】
また、辞書フィルタに、ユーザの意向毎に、あらかじめ１または２以上の助数詞を記憶しておき、選択できるようにしてもよい。例えば、「円」、「ＭＨｚ」等である。これにより、数詞と助数詞で構成されたタームが抽出できるので、かかるタームが文書中でどのような単語に係っているかを知ることができる。特に、値段の場合は、値段のしきい値を設定して、それ以下またはそれ以上の値段の商品の情報のみを抽出することができる。
【００６４】
なお、かかる辞書フィルタはユーザの意向毎にさらに階層構造にしてもよい。
【００６５】
なお、本実施形態においては、辞書フィルタにあらかじめ記憶しておいたユーザの意向に対応する助動詞を用いたが、このような辞書フィルタを用いなくとも、ユーザが文字列フィルタにこれを与えてフィルタリングしてもよい。
【００６６】
なお、特徴タームとしては、上記以外に、以下のような基準で抽出することができる。
【００６７】
１）特異ターム：あるベクトル要素値が他のタームより特異的に大きい、あるいは特異的に小さいターム
特異タームは、各ベクトル要素値の差分が所定のしきい値より大きいタームであり、固有タームほどではないが、ユーザの特定の興味に関係するタームであることが多い。例えば、３つのベクトル要素値が「１，１，６」でしきい値を「５」とした場合も、「１，３，６」でしきい値を「５」とした場合でも、特異タームとして抽出される。
【００６８】
２）差分ターム：順列に意味があるクエリについて、あるクエリとその前後のクエリで差分が大きなターム
差分タームは、例えば、互いに関連する一連のクエリとして自動車の売れ筋のジャンルの移り変わりとして、第１の視点プロファイル「セダン」、第２の視点プロファイル「スポーツ」、第３の視点プロファイル「ＲＶ」・・を用いた場合、移り変わりとともに共起する新規トピック等の抽出が可能となる。なお、差分タームについては後述の抽出期間を限定するような場合にも有効である。
【００６９】
このように、本実施形態においては、視点プロファイルごとに抽出対象文書を決定して、その視点プロファイルにおける各タームの評価を演算し、これを複数の視点プロファイルについて繰り返して、各タームを複数の視点プロファイルに対する数値ベクトルで評価するようにした。ターム抽出対象文書を操作者の望む観点で特定することにより、操作者の興味に関係した文書からターム抽出を行うので、操作者の興味に深く関連しているタームを抽出することができる。また、ターム総数を絞り込めるため、ターム分析がより容易となる。
【００７０】
また、抽出した各タームを複数の視点プロファイルについてのベクトルで表すことにより、操作者の望む観点で多面的にタームを評価することができる。したがって、未知の知識の発見が容易となる。
【００７１】
本実施形態においては、各タームのベクトル要素のパターンを指定するパターンフィルタを採用している。これにより、例えば、前記共通ターム、固有ターム、特異ターム、差分タームを抽出することができる。
【００７２】
４．トレンド分析
上記実施形態においては、複数の検索条件として、異なる視点プロファイルを用いた。しかし、１の視点プロファイルおよび各文書の作成期間によって、複数の検索条件としてもよい。例えば、図１４に示すように、視点プロファイル「不景気」を選択し、重みづけダイアログ８３にて、この視点プロファイルの関連キーワードについて、重みづけを設定する。この場合、全関連キーワードは重みづけ「１」と設定されている。さらに、着目期間を、開始日が１９９７／１／１で、期間は１月毎で、回数５回に設定されている。
【００７３】
前記条件における実行結果を図１５に示す。表示領域７７にはターム抽出文書が日付順に表示されている。表示領域７２には、ターム抽出文書から抽出したタームの関連度で並べ替えられて表示されている。本実施形態においては、図１６に示すフローチャートに基づいて、並べ替えるようにした。
【００７４】
ＣＰＵ２３は、まず、期間番号ｎを初期化する（図１６ステップＳ７１）。第ｎ番目の値でタームを並び替える（ステップＳ７３）。この場合、第０番目の期間（１／１〜１／３１の期間）の値で大きい順に並び替えられる。
【００７５】
つぎに、ＣＰＵ２３は、第ｎ番目の期間の値が「０」のタームを抽出して、これらについて、ｎ＋１番目の期間の値でソートする（ステップＳ７５）。すなわち、この場合、第０番目の期間の値が「０」で、かつ、第１番目の期間の値が「０」でないタームが、第１番目の期間の値が大きい順に並び替えられる。
【００７６】
ＣＰＵ２３は、最終期間まで検討が終了したか否か判断し（ステップＳ７７）、最終期間でなければ、期間番号ｎをインクリメントし（ステップＳ７９）、ステップＳ７５以下の処理を繰り返す。一方、最終期間まで検討が終了すると、処理を終了する。
【００７７】
このような並べ替えにより、着目期間に初めて出現するタームを発見しやすくなる。例えば、図１５において、着目期間を第２番目の期間（３／１〜３／３１）とすると、ターム「土産物・水産物卸」がその前の期間２／１〜２／２８には出現せず、着目期間３／１〜３／３１で初めて出現したタームであることがわかる。
【００７８】
かかるターム分析に、文字列フィルタやパターンフィルタを併用するようにしてもよい。図１７、図１８にかかるフィルタリング条件を設定した場合の分析結果を示す。図１７では、視点プロファイル「株」を選択し、重みづけダイアログ６３にて、この視点プロファイルの関連キーワードについて、重みづけを設定する。この場合、重みづけは全部「１」である。さらに、着目期間を期間設定ダイアログ６７に設定する。この場合であれば、開始日が１９９７／１／１で、期間は３月毎で、回数４回に設定されている。
【００７９】
前記条件における実行結果を図１８に示す。表示領域７７にはターム抽出文書が日付順に表示されている。表示領域７２には、ターム抽出文書から抽出したタームが表示されている。この場合、さらに、フィルタリング条件として、文字列フィルタとして、文字列「株」が、パターンフィルタ「単調増加」が設定されているので、抽出したタームのうち、文字列「株」を含み、さらに、３月毎の値が単調増加しているタームが、表示されている。
【００８０】
このようなトレンド分析により、各期間の文書に共通に出現するターム、特定の期間の文書にのみ出現するターム、時間の経過とともに新たに発生または消滅するタームを抽出することができる。例えば、徐々に増加または減少する事象の抽出に役立つ。
【００８１】
なお、このようなトレンド分析については、視覚的な把握を容易とするために、ターム毎、またはある程度まとめてグラフ表示（折れ線グラフ等）するようにしてもよい。
【００８２】
５．他の実施形態
なお、上記実施形態においては、前記複数の視点プロファイルとして、好景気、不景気と逆の方向性を有する１対の視点プロファイルを採用したが、これに限定されず、複数の視点プロファイルであればどのようなものでも、ユーザが自由に設定することができる。
【００８３】
なお、クエリとして視点プロファイルを与えたが、ユーザの興味に関連する幾つかのタームをキーワードとして直接与えてもよく、さらに、例えば、「株価と景気の動向との関連について知りたい」というような自然文が与えられると、この自然文を意味解析して、キーワードを設定して、クエリを生成するようにしてもよい。さらに、クエリを制約する検索時間範囲や必ず含むべきターム等の制約条件を追加するようにしてもよい。
【００８４】
また、各クエリごとにターム抽出の対象となる文書データやその数が異なるので、統計データによる補正を行ってもよい。例えば、ターム出現頻度をタームを含む文書数または抽出した文書数で除算すればよい。
【００８５】
なお、数値ベクトルデータを従来の分類手法を用いて分類するようにしてもよい。例えば、以下の３つの手法を採用することができる。
【００８６】
１）クラスタ分析
あらかじめ分類基準がない場合には、クラスタ分析を行えばよい。そして分類後は、各集団の典型例を抽出することにより、その集団の意味を推定することもできる。典型例の抽出には、例えば、集団の中心に一番近いタームを抽出すればよい。
【００８７】
また、クラスタリングの手法としては、従来から用いられている手法が採用でき、例えば、階層的クラスタ分析だけでなく、非階層的クラスタ分析するようにしてもよい。
【００８８】
２）クラシフィケーション
いくつかのクラスタをあらかじめ用意しておき、各数値ベクトルをもっとも近いクラスタに割り当てることによりタームを分類する。
【００８９】
３）単純な分類
同じベクトル要素値が最大となるタームをまとめて、１つのクラスタとする。クエリ数と同じ数の分類クラスタが生成され、かつ、各分類クラスタには対応するクエリに関連するタームが分類される。
【００９０】
このような分類処理により、ある分類グループの特徴的なタームを抽出し、比較検討することにより、新たな知識を発見することも可能となる。
【００９１】
また、本実施形態においては、抽出対象文書をユーザの興味のある視点プロファイルによって特定しているので、比較的精度の高いターム分析が可能となる。また、全文書から抽出する場合と比べて、ターム総数が少なくなり、分類が短時間で可能となり、ユーザの分析も容易となる。
【００９２】
なお、上記実施形態においては、前記複数の視点プロファイルとして、逆の方向性を有する１対の視点プロファイルを採用したが、これに限定されず、例えば一見関係の無いような視点プロファイル、例えば、「政治」と「出生率」等であってもよい。
【００９３】
また、本実施形態においては、前記視点プロファイルとして状態を表すプロファイルとして「好景気」、「不景気」を用いたが、変化を表すプロファイルとして「増産」、「増益」等を用いてもよい。このような状態または変化を表すプロファイルを用いることにより、データマイニングがより容易となる。なお、視点プロファイルについては、操作者が望む視点プロファイルであれば、これらに限定されず、どのようなものであってもよい。
【００９４】
なお、抽出文書決定する際に行う、各文書からタームを抽出してベクトル化する処理については、全文書の内容を確定できれば、あらかじめ処理することも可能であるので、新たな文書が追加された時に実行して、記憶しておいてもよい。
【００９５】
また、本実施形態においては、抽出文書決定処理にて、各文書から重要タームを抽出するようにしたが、タームであればこれに限定されず、例えば重要タームだけでなく、全タームを抽出するようにしたり、ある抽出基準で抽出するようにしてもよい。
【００９６】
本実施形態においては、２つの数値ベクトルの類似度を、両数値ベクトルの内積を演算することにより決定したが、両数値ベクトルのコサイン値を類似度としてもよい。
【００９７】
また、本実施形態においては、日本語の文書の場合について説明したが、他の言語、例えば、英語、中国語、韓国語等についても同様に適用することができる。
【００９８】
本実施形態においては、図１に示す機能を実現する為に、ＣＰＵ２３を用い、ソフトウェアによってこれを実現している。しかし、その一部もしくは全てを、ロジック回路等のハードウェアによって実現してもよい。
【００９９】
このように、文書に存在するタームを操作者の興味がある複数の視点プロファイルに関する得点によって数値ベクトル化している。これにより、タームの出現頻度に依存した値で表す場合と比べて、自己の興味と各タームとの関係を操作者が容易に把握することができる。また、数値ベクトル化されたタームを各種の統計的解析手法を用いて分析することができる。さらに、分析結果の意味付けが容易となる。
【図面の簡単な説明】
【図１】本発明にかかるターム評価装置１の機能ブロック図である。
【図２】図１に示すターム評価装置のハードウエア構成の一例を示す図である。
【図３】図２に示すコンピュータシステム４０をＣＰＵ２３を用いて実現したハードウエア構成の一例を示す図である。
【図４】視点プロファイルと関連キーワードの対応を示す図である。
【図５】ターム評価処理の全体フローチャートである。
【図６】抽出文書決定処理の詳細フローチャートである。
【図７】統計量決定処理の詳細フローチャートである。
【図８】クエリ決定のためのダイアログの一例である。
【図９】抽出タームの表示の一例である。
【図１０】抽出タームの表示の一例である。
【図１１】抽出タームの表示の一例である。
【図１２】抽出タームの表示の一例である。
【図１３】辞書フィルタのデータ構造を示す。
【図１４】トレンド分析のための設定ダイアログを示す。
【図１５】トレンド分析の結果を示す。
【図１６】並べ替え処理の詳細フローチャートである。
【図１７】トレンド分析のための設定ダイアログを示す。
【図１８】トレンド分析の結果を示す。
【符号の説明】
２３・・・ＣＰＵ
２７・・・メモリ
【図１】
0004010711.tif 000002
【図２】
0004010711.tif 000003
【図３】
0004010711.tif 000004
【図４】
0004010711.tif 000005
【図５】
0004010711.tif 000006
【図６】
0004010711.tif 000007
【図７】
0004010711.tif 000008
【図８】
0004010711.tif 000009
【図９】
0004010711.tif 000010
【図１０】
0004010711.tif 000011
【図１１】
0004010711.tif 000012
【図１２】
0004010711.tif 000013
【図１３】
0004010711.tif 000014
【図１４】
0004010711.tif 000015
【図１５】
0004010711.tif 000016
【図１６】
0004010711.tif 000017
【図１７】
0004010711.tif 000018
【図１８】
0004010711.tif 000019