(57)【要約】【課題】文書の中から、語群を高速に抽出する方法を提供する。【解決手段】はじめに、抽出候補の単語群をデータベースへ登録しておき、文書を単語に分割し、分割された単語をキーとしてデータベースへ問い合わせを行い、データベースに登録されているかどうかにより、文書から単語群を抽出する。次に、抽出候補の複合語群を先頭の２語を複合キーとしてデータベースへ登録しておき、文書を連続する２語ずつに分割し、分割された２語を複合キーとしてデータベースへ問い合わせを行うことにより、複合語群のサブセットを作成し、サブセットの複合語が文書の部分文字列かどうかにより、文書から複合語群を抽出する。【選択図】図４
2006163812.tif 000002
【特許請求の範囲】
【請求項１】
文書から単語を抽出する方法において、
入力された文書を単語に分割するステップと、
前記分割された単語をキーとして複数の単語が登録されたデータベースへ問い合わせを行い、前記データベースに登録されている単語を抽出するステップと、
前記抽出した単語群を出力するステップとを有することを特徴とする文書から単語を抽出する方法。
【請求項２】
文書から複合語を抽出する方法において、
抽出候補の複合語群を、各複合語を構成する先頭の２語と当該複合語を一組としてデータベースへ登録するステップと、
入力された文書を連続する２語ずつに分割するステップと、
前記分割された２語を複合キーとして前記データベースへ問い合わせを行い、前記複合キーが先頭の２語として前記データベースに登録されている複合語を集めて複合語群のサブセットを作成するステップと、
前記サブセットに含まれる複合語が前記文書の部分文字列かどうかを判定するステップと、
前記ステップで前記文書の部分文字列であると判定された複合語を出力するステップとを有することを特徴とする文書から複合語を抽出する方法。
【請求項３】
文書から複合語を抽出する装置であって、
抽出候補の複合語群を、各複合語を構成する先頭の２語と当該複合語を一組として登録したデータベースと、
文書入力部と、
複合語抽出処理部とを備え、
前記複合語抽出処理部は、前記文書入力部から入力された文書を連続する２語ずつに分割する処理、前記分割された２語を複合キーとして前記データベースへ問い合わせを行い、前記複合キーが先頭の２語として前記データベースに登録されている複合語を集めて複合語群のサブセットを作成する処理、及び前記サブセットに含まれる複合語のうち前記文書の部分文字列になっている複合語を抽出する処理、抽出した複合語を出力する処理を行うことを特徴とする装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テキストマイニングを効率的に行う方法及び装置に関する。
【背景技術】
【０００２】
近年、論文などの各種の技術文献を蓄積した文献データベースが構築され、インターネットなどを介して広く利用されている。例えば、米国国立バイオテクノロジーセンター（NCBI）が米国国立医学図書館（NLM）等の文献データを提供するPubMedなどが存在する。しかしながら、データベースに登録されている文献は膨大な量であり、且つ個々の文献の内容も多岐にわたるため、ユーザは膨大な文献を分類（整理）する準備作業に多くの時間を要しており、準備作業の効率化が従来から大きな課題となっている。
【０００３】
このような背景の中、コンピュータによる文書の分析が行なわれており、特に近年においては、データベース等に蓄積された膨大な文章を、コンピュータを利用して解析することにより、その文章群の中からユーザにとって有益な情報（単語、キーワード）を抽出することができるテキストマイニング技術が提案されている。テキストマイニングの方法として、専門分野の辞書掲載語を抽出することによって文書を分析する方法がある。例えば、バイオ用語辞書掲載語を文書から抽出することによって、ユーザは文書を読まずに、その文書がバイオ分野のどういった事柄について言及されているかを知ることができる。文書から既存の特徴語抽出に辞書を用いるテキストマイニング システムとして、ＩＢＭ社のTAKMI（製品名）がある。
【０００４】
【非特許文献１】"Information Access Based on Associative Calculation"(V. Hlava, K.G. Jeffery, J. Wiedermann Eds.), Springer-Verlag Heidelberg, 2000
【発明の開示】
【発明が解決しようとする課題】
【０００５】
文書から辞書掲載語を抽出するテキストマイニングの方法は、辞書に掲載されている語数が増加すると、辞書掲載語が文書の部分文字列になっているかどうかを検索する処理回数が増加するので、掲載語数の多い辞書を用いる場合、抽出に時間がかかる。
【０００６】
そこで本発明は、文書の中から、語群（辞書掲載語）を高速に抽出する方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、データベースを利用することにより、文書の中から、語群を抽出する。
【０００８】
すなわち、本発明の文書から単語を抽出する方法は、入力された文書を単語に分割するステップと、分割された単語をキーとして複数の単語が登録されたデータベースへ問い合わせを行い、データベースに登録されている単語を抽出するステップと、抽出した単語群を出力するステップとを有する。
【０００９】
本発明の文書から複合語を抽出する方法は、抽出候補の複合語群を、各複合語を構成する先頭の２語と当該複合語を一組としてデータベースへ登録するステップと、入力された文書を連続する２語ずつに分割するステップと、分割された２語を複合キーとしてデータベースへ問い合わせを行い、複合キーが先頭の２語としてデータベースに登録されている複合語を集めて複合語群のサブセットを作成するステップと、サブセットに含まれる複合語が文書の部分文字列かどうかを判定するステップと、前記ステップで文書の部分文字列であると判定された複合語を出力するステップとを有する。
【００１０】
本発明の複合語抽出装置は、抽出候補の複合語群を、各複合語を構成する先頭の２語と当該複合語を一組として登録したデータベースと、文書入力部と、複合語抽出処理部とを備え、複合語抽出処理部は、文書入力部から入力された文書を連続する２語ずつに分割する処理、分割された２語を複合キーとしてデータベースへ問い合わせを行い、複合キーが先頭の２語としてデータベースに登録されている複合語を集めて複合語群のサブセットを作成する処理、及びそのサブセットに含まれる複合語のうち文書の部分文字列になっている複合語を抽出する処理、抽出した複合語を出力する処理を行う。
【発明の効果】
【００１１】
本発明によれば、文書の中から、その文書を特徴を現す語群を高速に抽出することができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明を実施する場合の一形態について図面を参照して具体的に説明する。
【００１３】
図４は、本発明によるテキストマイニング装置の構成例を示す図である。本例のテキストマイニング装置は、語群データベース作成処理装置４０９、語群データベース４０２、語群抽出処理装置４０７、文書データベース４０８、入力装置４０１、検索処理装置４０３、出力装置４０４を備えている。入力装置４０１はグラフィカルユーザインターフェイスを表示する機能を持ち、入力用デバイスとしてキーボード４１０を持つ。出力装置４０４は、グラフィカルユーザインターフェイスを表示する機能を持つ。語群データベース４０２は語群データベース作成処理装置４０９により作成されたものであり、単語データベースと複合語データベースからなる。
【００１４】
語群抽出処理装置４０７は、インターネット４０６を介して文献データベースからダウンロードした文書４０５から、語群データベース４０２を用いて単語と複合語の抽出を行い、抽出した語群を文書データベース４０８に登録する。検索処理装置４０３は、入力装置４０１を介してキーボード４１０から入力された文書IDをキーとして文書データベース４０８を検索し、その文書IDに登録されている単語及び複合語を出力装置４０４に出力する。
【００１５】
最初に、語群が登録されたデータベース４０２を用意する。図１は語群データベース４０２を構成するテーブル定義を示し、語群データベース４０２は、図１（ａ）に示すような単語が登録されたテーブルと、図１（ｂ）に示すような複合語が登録されたテーブルからなる。
【００１６】
複合語が登録されたテーブルの１つのレコードは、複合語の１語目が登録されたフィールド、２語目が登録されたフィールド及び複合語全体が登録されたフィールドからなる３つのフィールドによって構成されている。例えば、”cobalamin independent methionine synthase”の場合、”cobalamin”が１語目として登録され、“independent”が２語目として、“cobalamin independent methionine synthase”が複合語全体として登録されている。
【００１７】
図５は、語群データベース作成処理装置４０９によって語群データベース４０２を作成する処理の手順を示したフローチャートである。語群データベース作成処理装置４０９は、単語テーブル（ステップ５０１）と複合語テーブルを作成する（ステップ５０２）ことにより、語群データベース４０２を作成する。
【００１８】
テキストマイニングの対象としたい分野の辞書から見出し語を抽出し、例えば、スペースやカンマといった特定の文字を区切り文字として、１語で構成されていれば、単語テーブルへ、２語以上で構成されていれば、複合テーブルへ登録を行うことにより、語群データベースを作成する。
【００１９】
次に、用意した語群データベース４０２を用いて、文書から語群を抽出する。図６は文書から語群を抽出する処理の手順を示すフローチャートである。語群抽出処理には、単語を抽出する処理と複合語を抽出する処理の２つがある。
【００２０】
語群抽出処理装置４０７はインターネット４０６を介して、文献データベースから文書をダウンロードする。ダウンロードした文書から、単語の抽出（ステップ６０１）と複合語の抽出（ステップ６０２）を行い、抽出した語群を文書データベース４０８へ登録する（ステップ６０３）。
【００２１】
図２を参照して、文書から単語を抽出する作業について説明する。最初に、文書２０１を単語に分割する（２０２）。次に、分割された単語をキーとして、語群データベース４０２の単語登録テーブルへ問い合わせを行い（２０３）、登録されている場合、その単語を抽出する。
【００２２】
次に、図３を参照して、文書から複合語を抽出する作業について説明する。最初に、文書３０２を連続する２語の組み３０１へ分割する。分割された２語を複合キーとして、語群データベース４０２の複合語が登録されたテーブルへ問い合わせを行い（３０４）、該当する複合語のサブセット３０５を作成する。次に、作成された複合語のサブセットに含まれる語３０９が文書の部分文字列になっているかを検索し（３０６）、部分文字列である場合、その複合語を抽出する（３０７）。
【００２３】
最後に、上記の２つの作業で抽出された単語群と複合語群を合体し、文書データベース４０８に登録することにより、その文書からの語群の抽出が終了する。図７は、文書データベース４０８のテーブル定義である。抽出した文書のIDをキーとして、抽出した単語及び複合語が登録されている。
【００２４】
図８は、検索処理のフローチャートである。入力装置４０１から文書IDを受け取り（ステップ８０１）、受け取った文書IDをキーとして文書データベースの検索を行い（ステップ８０２）、検索結果を出力装置４０４へ渡す（ステップ８０３）。
【００２５】
図９は、入力装置４０１が表示するグラフィカルユーザインターフェイスである。ユーザがテキストボックス９０１へ、キーボード４１０を用いて文献IDを入力し、検索ボタン９０２を押下することで検索が開始される。この場合の検索処理は、入力された文献IDが付与されている単語及び複合語を抽出する処理である。
【００２６】
図１０は、出力装置４０４が表示するグラフィカルユーザインターフェイスの例を示す図である。出力装置４０４は、検索処理装置４０３から検索結果を受け取り、文書ID１００１と抽出した語群１００２を表示部に表示する。
【００２７】
ここで説明した例では、予め文献データベース中の各文書について語群抽出処理を行いそれぞれの文書について特徴単語と複合語を抽出しておき、それを文書データベース４０８に登録しておいた。従って、ユーザが検索キーとして注目する文書の文書IDを入力すると、検索処理では文書データベース４０８にアクセスし、文書データベース４０８に登録されたテーブル（図７参照）からその文書IDが付与されたレコードを抽出し、出力した。しかし、予め各文書の特徴単語と複合語を文書データベースに登録しておくことなく、検索処理において、入力された文書の特徴単語と複合語を抽出するようにしてもよい。
【００２８】
この場合、検索処理装置４０３は入力装置から検索キーとして入力された文書IDを語群抽出処理装置４０７に渡し、語群抽出処理装置４０７はその文書IDの文書をインターネット４０６を介して文献データベースからダウンロードし、語群データベース４０２を利用し図２及び図３で説明した処理にて特徴単語と複合語を抽出し、検索処理装置４０３に返す。検索処理装置４０３は、語群抽出処理装置４０７から渡された単語と複合語を出力装置４０４に出力する。なお、入力装置４０１は、検索キーとして文書IDではなく、文書のテキストデータを直接入力したり、テキストデータを格納したファイル名を入力するようにしてもよい。その場合、検索処理装置４０３は入力されたテキストデータを語群抽出処理装置４０７に渡し、語群抽出処理装置４０７は渡されたテキストデータから特徴単語と複合語を抽出する。
【図面の簡単な説明】
【００２９】
【図１】語群が登録されたデータベースを構成するテーブル定義を示す図。
【図２】単語を抽出する処理の説明図。
【図３】複合語を抽出する処理の説明図。
【図４】テキストマイニング装置の構成例を示す図。
【図５】語群データベース作成のフローチャート。
【図６】語群抽出処理のフローチャート。
【図７】文書データベースのテーブル定義を示す図。
【図８】検索処理のフローチャート。
【図９】入力装置のグラフィカルユーザインターフェイスを示す図。
【図１０】出力装置のグラフィカルユーザインターフェイスを示す図。
【符号の説明】
【００３０】
２０１…文書、２０２…文書から分割された単語、２０４…単語が登録されたテーブル、３０１…文書から抽出された連続する２語、３０２…文書、３０３…語群から複合語が登録されたテーブル、３０５…語群のサブセット、３０８…抽出された複合語、３０９…語群のサブセットを構成する語、４０１…入力装置、４０２…語群データベース、４０３…検索処理装置、４０４…出力装置、４０５…文書、４０６…インターネット、４０７…語群抽出処理装置、４０８…文書データベース、４０９…語群データベース作成処理装置、４１０…キーボード
【図１】
2006163812.tif 000003
【図２】
2006163812.tif 000004
【図３】
2006163812.tif 000005
【図４】
2006163812.tif 000006
【図５】
2006163812.tif 000007
【図６】
2006163812.tif 000008
【図７】
2006163812.tif 000009
【図８】
2006163812.tif 000010
【図９】
2006163812.tif 000011
【図１０】
2006163812.tif 000012