(57)【特許請求の範囲】
【請求項１】
処理対象となる文書データを入力するためのデータ入力部と、
前記文書を形態素に分割する形態素解析部と、
前記文書内での各々の前記形態素の出現頻度を取得する統計データ解析部と、
各々の前記形態素を周波数に対応させ、前記形態素の出現頻度を強度に対応させることにより、前記文書データに対応する周波数スペクトルデータを作成する作成部と、
前記周波数スペクトルデータを波形データに変換する変換部と、
複数の前記波形データの中から、類似する波形データを抽出する共鳴フィルタ部と、
を備えた文書処理装置。
【請求項２】
請求項１に記載の文書処理装置において、
前記変換部から出力された前記波形データを、特定の処理でフィルタリングするパスフィルタ部を備え、
前記共鳴フィルタ部は、前記フィルタリング後の複数の波形データの中から類似する波形データを抽出することを特徴とする文書処理装置。
【請求項３】
請求項２に記載の文書処理装置において、
前記パスフィルタ部は、前記文書の特徴に寄与しない一般的な形態素に対応する周波数成分を除去することを特徴とする、文書処理装置。
【請求項４】
請求項１から３のいずれか１項に記載の文書処理装置において、
前記変換部と前記共鳴フィルタ部が、マイクロチップによって実現されることを特徴とする、文書処理装置。
【請求項５】
請求項１から４のいずれか１項に記載の文書処理装置において、
各部の機能がネットワークを介して外部のコンピュータから利用可能であることを特徴とする、文書処理装置。
【請求項６】
請求項１から５のいずれか１項に記載の文書処理装置において、
一部の機能が、他の装置に分散して実装されていることを特徴とする、文書処理装置。
【請求項７】
処理対象となる文書データの入力を受け付ける工程と、
前記文書を形態素に分割する工程と、
前記文書内での各々の前記形態素の出現頻度を取得する工程と、
各々の前記形態素を周波数に対応させ、前記形態素の出現頻度を強度に対応させることにより、前記文書データに対応する周波数スペクトルデータを作成する工程と、
前記周波数スペクトルデータを波形データに変換する工程と、
複数の前記波形データの中から類似する波形データを抽出する工程と、を備えた文書処理方法。
【請求項８】
コンピュータを
処理対象となる文書データを入力するためのデータ入力部と、
前記文書を形態素に分割する形態素解析部と、
前記文書内での各々の前記形態素の出現頻度を取得する統計データ解析部と、
各々の前記形態素を周波数に対応させ、前記形態素の出現頻度を強度に対応させることにより、前記文書データに対応する周波数スペクトルデータを作成する作成部と、
前記周波数スペクトルデータを波形データに変換する変換部と、
複数の前記波形データの中から類似する波形データを抽出する共鳴フィルタ部と、して機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文書処理装置、文書処理方法、及びプログラムに関する。
【背景技術】
【０００２】
従来から、文書の特徴を抽出し、抽出された特徴を用いて文書の分類や類似文書の検索を行う装置が知られている。文書の特徴付けにはいくつかの方法がある。１つはタグを利用する方法である。この方法では、基本的に人手により文書にタグを付与するという作業が必要であり、機械を使って自動的に文書の特徴を抽出することは難しい。また、検索キーを利用する方法もあるが、この場合も人手により検索キーを設定する必要があり、文書から自動的に特徴を抽出することは難しい。
【０００３】
その他の方法としてベクトル空間法の利用がある。ベクトル空間法では、文書内の出現語や出現語の出現回数などを利用して文書の特徴を定義するため、機械による自動的な処理が可能である。
【０００４】
ベクトル空間法を用いた例として、特許文献１には、類似検索の対象となる個々の文書データ毎に、予め指定された単語毎の出現頻度を要素としたベクトルデータをそれぞれ作成するベクトルデータ作成手段と、前記文書データ毎に、前記指定された単語群のなかで類義語の関係にある複数の単語をそれぞれ検出する類義単語検出手段と、前記検出された類義語の関係にある単語毎の出現頻度の和をこれらを代表する１単語の出現頻度として求め、この代表単語の出現頻度により、前記作成されたベクトルデータをそれぞれ更新するベクトルデータ更新手段と、前記更新された文書データ毎のベクトルデータに基づいて、前記各文書データ間の類似度を計算する類似度計算手段とを具備することを特徴とする類似文書検索装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平１１−１１０３９５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、特許文献１のようなベクトル空間法を利用した装置では、単語数がベクトルの次元数に対応するため、ベクトル空間の次元が非常に多くなりやすく、文書の特徴を抽出するための計算量が増大しやすい。また、文書の類似性を判定するためには、複数のベクトルを比較する必要があるが、この計算量も大きくなりやすい。また、一度に複数の文書の特徴を表すベクトルを計算することは困難である。これらのことから、ベクトル空間法を利用した場合、装置による文書の特徴量の抽出や類似性の判定はあまり高速に行うことができなかった。
【０００７】
そこで本発明の目的は、文書の特徴量の抽出や類似性の判定を極めて高速に行うことである。
【課題を解決するための手段】
【０００８】
本発明に係る文書処理装置は、処理対象となる文書データを入力するためのデータ入力部と、前記文書を形態素に分割する形態素解析部と、前記文書内での各々の前記形態素の出現頻度を取得する統計データ解析部と、各々の前記形態素を周波数に対応させ、前記形態素の出現頻度を強度に対応させることにより、前記文書データに対応する周波数スペクトルデータを作成する作成部と、前記周波数スペクトルデータを波形データに変換する変換部と、前記波形データを特定の処理でフィルタリングするパスフィルタ部と、前記フィルタリング後の複数の波形データの中から類似する波形データを抽出する共鳴フィルタ部と、を備えている。
【発明の効果】
【０００９】
本発明によれば、文書の特徴量の抽出や類似性の判定を極めて高速に行うことができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施の形態による文書処理装置の機能構成を示すブロック図である。
【図２】本発明の実施の形態による文書処理装置の動作のフローチャートである。
【図３】形態素解析を説明する図である。
【図４】周波数分布データ作成処理と、波形データへの変換処理を説明する図である。
【図５】波形データのフィルタリングを説明する図である。
【図６】類似する波形データの抽出処理を説明する図である。
【発明を実施するための形態】
【００１１】
次に、本発明を実施するための最良の形態について、図面を参照して詳細に説明する。
図１は、本発明による文書処理装置１０の機能構成を示すブロック図である。図に示すように、文書処理装置１０は、データ入力部１０１、形態素解析部１０２、統計データ解析部１０３、波形変換部（作成部）１０４、ＤＡ変換部（変換部）１０５、パスフィルタ部１０６、共鳴フィルタ部１０７、ＡＤ変換部１０８、及びデータ取得部１０９を備えている。
【００１２】
文書処理装置１０は、例えば汎用的なパーソナルコンピュータに所定のプログラムを実行させたものである。データ入力部１０１、形態素解析部１０２、統計データ解析部１０３、波形変換部１０４、ＤＡ変換部１０５、パスフィルタ部１０６、共鳴フィルタ部１０７、ＡＤ変換部１０８、及びデータ取得部１０９は、プログラムに従ってコンピュータのプロセッサが行う動作のモジュールを表している。
【００１３】
データ入力部１０１は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）インターフェイス等を介して、メモリ媒体などから文書データを読み込むことが可能である。また、キーボード等の入力手段を介して入力された文書データを取得するようにしてもよい。
【００１４】
形態素解析部１０２は、入力された文書データの形態素解析を行う。形態素解析の手法には、文節数最小法や結合価を利用する手法など公知の技術を用いることができる。
【００１５】
統計データ解析部１０３は、形態素解析部１０２による形態素解析で得られた各々の形態素の文書データ内での出現頻度を取得する。
【００１６】
波形変換部１０４は、文書データに含まれる各々の形態素に周波数を割り当て、各々の形態素の出現頻度を強度に対応させることにより、周波数スペクトルの離散データを作成する。さらに、周波数スペクトルの離散データを逆フーリエ変換により時間領域の波形の離散データに変換する。
【００１７】
ＤＡ変換部１０５は、波形変換部１０４で作成された時間領域の波形の離散データを時間領域の波形のアナログデータに変換する。ＤＡ変換部１０５には、音声データなどをデジタルデータからアナログデータに変換する公知の技術を適用することができる。
【００１８】
パスフィルタ部１０６は、ＤＡ変換部１０５で変換された波形データをフィルタリングする。パスフィルタ部１０６は、ＬＣフィルタやくし型フィルタなどの技術を用いて、波形データに対して特定のフィルタリングを行う。
【００１９】
共鳴フィルタ部１０７は、パスフィルタ部１０６におけるフィルタリング後の複数の波形データの中から類似する波形データを抽出する。具体的には、共鳴により強度が高くなった波を取り出すことにより特定の周波数特性を有する波形を抽出するものである。共鳴フィルタ部１０７には、音響処理や干渉を利用した光学処理などで利用される、導波管、音叉、アンテナ等を用いた公知の技術を適用することができる。
【００２０】
ＡＤ変換部１０８は、ＤＡ変換部１０５で変換された波形データを元のデジタルデータに変換する。ＡＤ変換部１０８には、音声データなどをアナログデータからデジタルデータに変換する公知の技術を適用することができる。なお、ＤＡ変換部１０５による変換前に、予め元のデジタルデータを記憶部に保持しておくようにしてもよい。
【００２１】
データ取得部１０９は、ＡＤ変換部１０８で変換されたデジタルデータを記憶部に記憶する。
【００２２】
次に、本実施形態による文書処理装置１０の動作について説明する。
図２は、文書処理装置１０の動作のフローチャートである。
まず、ステップＳ１において、データ入力部１０１が文書データを読み込み、第１番目の文を取得する。
【００２３】
次に、ステップＳ２において、形態素解析部１０２が第１番目の文を形態素に分割し、形態素解析を行う。
図３は、形態素解析を説明する図である。図に示すように入力文書データ「白い猫も黒い猫も鼠を取る猫が良い猫だ。」が形態素に分割されると、「白い（形容詞）／猫（名詞）／も（副助詞）／黒い（形容詞）／猫（名詞）／も（副助詞）／鼠（名詞）／を（格助詞）／取る（動詞）／猫（名詞）／が（格助詞）／良い（形容詞）／猫（名詞）／だ（終助詞）／。」となる。
【００２４】
次に、ステップＳ３において、統計データ解析部１０３が、ステップＳ２で取得された各々の形態素の出現回数を取得する。例えば、図３に示す文の例では、形態素「猫（名詞）」が４回、「も（副助詞）」が２回、後は１回ずつの出現である。取得した各形態素の出現回数は、文書データ全体で合計する。
【００２５】
次に、ステップＳ４において、文書処理装置１０は、ステップＳ２，Ｓ３で処理対象となった文が、文書データの最後の文であるか否かを判定する。最後の文である場合（ＹＥＳ）にはステップＳ６へ、最後の文でない場合はステップＳ５で次の文を取得し、ステップＳ２へ戻る。
【００２６】
ステップＳ６では、波形変換部１０４が、文書データに含まれる各々の形態素に周波数を割り当て、各々の形態素の出現頻度を強度に対応させることにより、周波数スペクトルの離散データを作成する。さらに、周波数スペクトルの離散データを逆フーリエ変換により時間領域の波形の離散データに変換する。
【００２７】
さらに、ステップＳ７で、ＤＡ変換部１０５が波形変換部１０４で作成された時間領域の波形の離散データを時間領域の波形のアナログデータに変換する。
【００２８】
図４は、ステップＳ６、Ｓ７の処理を説明する図である。図に示すように、まず、文書データに含まれる全ての形態素を横軸上に配置し、それぞれの出現回数を縦軸に取る。形態素の配置方法としては、同じ品詞の形態素群が近い位置に配置されるようにしてもよい。さらに、横軸上の位置を周波数に対応させ、縦軸の出現回数を強度に対応させることにより、周波数スペクトルの離散データを作成する。さらに、作成した周波数スペクトルの離散データを逆フーリエ変換により時間領域の波形の離散データに変換した後、デジタルデータからアナログデータに変換する公知の技術を用いて時間領域の波形のアナログデータに変換する。
【００２９】
なお、本実施形態では、まず周波数スペクトルの離散データを逆フーリエ変換により時間領域の波形の離散データに変換してから、ＤＡ変換により時間領域の波形のアナログデータに変換しているが、まず周波数スペクトルの離散データをＤＡ変換によって周波数スペクトルのアナログデータに変換してから、逆フーリエ変換により時間領域の波形のアナログデータに変換するようにしてもよい。
【００３０】
次に、ステップＳ８で、パスフィルタ部１０６が、ＤＡ変換部１０５で変換された波形データをフィルタリングする。
図５は、ステップＳ８における波形データのフィルタリングを説明する図である。図に示すように、本実施形態では、ハイパスフィルタを利用して、低周波部分をカットする。図に示すように、文書データに含まれる形態素のうち、助詞のように文書の特徴を表さない一般的な語を低周波の領域に対応させておくことにより、ハイパスフィルタによってこれらの一般的な形態素を除外することができる。
【００３１】
次に、ステップＳ９で、共鳴フィルタ部１０７が、パスフィルタ部１０６におけるフィルタリング後の複数の波形データの中から類似する波形データを抽出する。
図６は、ステップＳ９における類似する波形データの抽出処理を説明する図である。図に示すように、ステップＳ８でフィルタリング処理を行った各文書に対応する波形データを共鳴フィルタに入力することにより、周波数パターンが類似する波形データが抽出される。
【００３２】
以上のように、本実施形態によれば、文書データに含まれる形態素を周波数に対応させた波形データを生成することにより、波形データを用いて共鳴や干渉、重ね合わせなど、波の性質を利用した処理を行うことができるので、文書の特徴量の抽出や類似性の判定を極めて高速に行うことができる。また、複数の波形データを一度に処理することが可能となり、多量の文書データを一度に処理することができる。
【００３３】
本発明は、全文検索システムの高速化や高度化を図るのに適している。また、１つまたは複数のコンピュータに偏在する同一文書を纏めるための装置や、文書データに特徴を自動付与する装置、ブログの自動関係付けを行う装置などへの利用も考えられる。
【００３４】
次に、本発明に係る文書処理装置の実装例について説明する。
形態素解析部１０２、統計データ解析部１０３、波形変換部１０４、データ取得部１０９は、電子回路やコンピュータのプロセッサにプログラムを実行させることにより実現することができる。
【００３５】
データ入力部１０１は、キーボードや、マウスなどのポインティングデバイスを用いることができる。また、ＷＥＢブラウザなどのソフトウェアや通信装置を介して外部のコンピュータから入力を行えるようにしてもよい。
【００３６】
また、ＤＡ変換部１０５、パスフィルタ部１０６、共鳴フィルタ部１０７、ＡＤ変換部１０８は、くし型フィルタ、固体フィルタ、導波管、干渉計、光子回路、ＬＣ回路などを含む電子回路や、フーリエ変換や逆フーリエ変換を行う電子回路や、同等の機能を持つプログラムをコンピュータのプロセッサに実行させることにより実現することができる。
【００３７】
データ入力部１０１、形態素解析部１０２、統計データ解析部１０３、波形変換部１０４、ＤＡ変換部１０５、パスフィルタ部１０６、共鳴フィルタ部１０７、ＡＤ変換部１０８、及びデータ取得部１０９は、パーソナルコンピュータなどの１つの装置に全てを実装しても良いし、一部の機能を別の装置に実装してもよい。
【００３８】
また、文書処理装置の各機能をサーバコンピュータに実装し、通信ネットワークを介して外部のコンピュータから文書データ入力を行える構成としても良い。
【００３９】
また、一部または全ての機能について、複数の装置に実装することにより性能を向上させるようにしてもよい。
【００４０】
また、本実施形態による文書処理装置を他の装置と組み合わせたり、他の装置に実装されているソフトウェアから呼び出して実行することができるように構成してもよい。
【００４１】
さらに、１つの文書データを複数に分割して処理するようにしてもよい。この場合、複数に分割された文書データから生成される波形データを、時系列で変化する波として処理するようにしてもよい。
【符号の説明】
【００４２】
１０  文書処理装置、１０１  データ入力部、１０２  形態素解析部、１０３  統計データ解析部、１０４  波形変換部、１０５  ＤＡ変換部、１０６  パスフィルタ部、１０７  共鳴フィルタ部、１０８  ＡＤ変換部、１０９  データ取得部
【図１】
0005488808.tif 000002
【図２】
0005488808.tif 000003
【図３】
0005488808.tif 000004
【図４】
0005488808.tif 000005
【図５】
0005488808.tif 000006
【図６】
0005488808.tif 000007