(57)【特許請求の範囲】
【請求項１】
大量の文書情報から入力された分析対象キーワードの関連キーワードを抽出し、出力する関連キーワード抽出装置であって、
外部から関連話題を抽出する対象となる分析対象キーワードを受け付け、発信者の情報が付与された文書を蓄積する情報源にアクセスし、該分析対象キーワードを含む文書を作成したことがある発信者の集合を抽出する関連発信者抽出手段と、
前記関連発信者抽出手段で得られた前記発信者によって作成された文書集合を、前記分析対象キーワードに関連する文書として前記情報源にアクセスして抽出し、該文書に含まれる語句を関連語句候補として抽出する関連語句候補抽出手段と、
前記関連語句候補のそれぞれの語句ｗｋについて、前記分析対象キーワードを発信したことがある発信者を対象に、語句ｗｋを含む文書を発信したことがある場合は正のスコアを、該語句ｗｋを含む文書を発信したことがない場合は負のスコアを算出し、前記正のスコア及び、前記負のスコアを前記分析対象キーワードを発信したことがある発信者全員分について集計した値を、該語句ｗｋの関連度として算出する関連度算出手段と、
前記関連語句候補のそれぞれの語句ｗｋについて、前記分析対象キーワードを発信したことがある発信者を対象に、発信者の全発信文書数における語句ｗｋを含む文書の割合の平均を反復度スコアとして求め、同様に前記分析対象キーワードの反復度スコアを求め、語句ｗｋの関連度が第１の閾値以上で、かつ、語句ｗｋの反復度スコアと分析対象キーワードの反復度スコアとの差が第２の閾値以下である場合に、該語句ｗｋを関連キーワードとして抽出する反復度算出手段と、
を有することを特徴とする関連キーワード抽出装置。
【請求項２】
前記関連度算出手段は、前記語句ｗｋの関連度を
【数１】
0005269481.tif 000006
（但し、分析対象キーワードを含む文書を発信したことのある発信者数をＵｉ、Ｌ番目の発信者によって発信されたｗｋを含む文書の数をｄｆＬ（ｗｋ），情報源に含まれるＬ番目の発信者が発信した文書数をＮＬ，情報源に含まれるｗｋを含む文書の数をｄｆ（ｗｋ）とし、情報源に含まれる全文書数をＮａｌｌとし、ｗｋがある文書に現れる確率をｐ（ｗｋ）＝ｄｆ（ｗｋ）／Ｎａｌｌとする）
により求める請求項１記載の関連キーワード抽出装置。
【請求項３】
コンピュータを、
請求項１または２に記載の関連キーワード抽出装置の各手段として機能させるための関連キーワード抽出プログラム。
【請求項４】
請求項３記載の関連キーワード抽出プログラムを格納したことを特徴とするコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、関連キーワード抽出装置及びプログラム及びコンピュータ読取可能な記録媒体に係り、特に、利用者が入力したキーワードと適切な関係にある関連キーワードを、与えられた文書群を解析することにより自動的に抽出するための関連キーワード抽出装置及びプログラム及びコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】
インターネットをはじめとした情報メディアの発達により、誰であっても容易に情報発信を行えるようになり、ブログ記事などの様々な興味を持つ個人によって書かれた文書がインターネット上に配信され、蓄積されるようになってきた。これらの文書群は個人の興味・関心に関する事柄が書かれているため、その内容を読むことにより消費者の関心事項といったマーケティングに利用可能な情報を得ることができる。例えば、特定の商品名を含む文書の集合に目を通すことにより、当該商品に関心を持っている人々が興味を持つ関連事項を発見することができる。
【０００３】
上記の作業は時間と人手がかかるため、与えられた大量の文書集合を機械的に分析することにより、事前に設定された分析対象語句に関連する語句を自動的に抽出することに対するニーズが存在する。
【０００４】
利用者の入力した分析対象語句の関連キーワードを抽出する手法は多数提案されている。
【０００５】
従来の技術として、大量の文書中における語句の共起回数を分析することにより、より多く共起するような語句を、関連キーワードとして抽出する技術がある（例えば、特許文献１参照）。
【特許文献１】特開平５−２８２３６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記の従来の技術は、ユーザの設定した分析対象語句を含む文書中から関連キーワードを抽出するため、関連キーワードが分析対象語句と同じ文書に記述されていない場合には関連キーワードとして抽出されない。そのため、同一分野における異なるニュース記事に含まれるキーワードのような、内容的には非常に関連が高いが別の文書に書かれるキーワードを関連キーワードとして抽出できず、狭い範囲の関連キーワードしか抽出できないという問題点があった。
【０００７】
また、上記従来の技術では、スポーツチーム名についての関連語句として、「ストライク」「三振」などの同分野で頻繁に用いられるような語句も関連語句として抽出され、語句が使用される分野は同じであるが、語句としての使われ方の違う語句も関連キーワードとして抽出されてしまうという問題がある。
【０００８】
本発明は、上記の点に鑑みなされたもので、語句が各発信者からの発信文書中において使われるパターンを解析することにより、分析対象の関連キーワードを分析対象語句と似たような使われ方をする語句のみに絞って抽出することが可能な関連キーワード抽出装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
図２は、本発明の原理構成図である。
【００１７】
本発明（請求項１）は、大量の文書情報から入力された分析対象キーワードの関連キーワードを抽出し、出力する関連キーワード抽出装置であって、
外部から関連話題を抽出する対象となる分析対象キーワードを受け付け、発信者の情報が付与された文書を蓄積する情報源２７０にアクセスし、分析対象キーワードを含む文書を作成したことがある発信者の集合を抽出する関連発信者抽出手段２２０と、
関連発信者抽出手段２２０で得られた発信者によって作成された文書集合を、分析対象キーワードに関連する文書として情報源２７０にアクセスして抽出し、該文書に含まれる語句を関連語句候補として抽出する関連語句候補抽出手段２３０と、
関連語句候補のそれぞれの語句ｗｋについて、分析対象キーワードを発信したことがある発信者を対象に、語句ｗｋを含む文書を発信したことがある場合は正のスコアを、該語句ｗｋを含む文書を発信したことがない場合は負のスコアを算出し、正のスコア及び、負のスコアを分析対象キーワードを発信したことがある発信者全員分について集計した値を、該語句ｗｋの関連度として算出する関連度算出手段２４０と、
関連語句候補のそれぞれの語句ｗｋについて、前記分析対象キーワードを発信したことがある発信者を対象に、発信者の全発信文書数における語句ｗｋを含む文書の割合の平均を反復度スコアとして求め、同様に分析対象キーワードの反復度スコアを求め、語句ｗｋの関連度が第１の閾値以上で、かつ、語句ｗｋの反復度スコアと分析対象キーワードの反復度スコアとの差が第２の閾値以下である場合に、該語句ｗｋを関連キーワードとして抽出する反復度算出手段２５０と、を有する。
また、本発明（請求項２）は、関連度算出手段において、前記語句ｗｋの関連度を
【数２】
0005269481.tif 000002
（但し、分析対象キーワードを含む文書を発信したことのある発信者数をＵｉ、Ｌ番目の発信者によって発信されたｗｋを含む文書の数をｄｆＬ（ｗｋ），情報源に含まれるＬ番目の発信者が発信した文書数をＮＬ，情報源に含まれるｗｋを含む文書の数をｄｆ（ｗｋ）とし、情報源に含まれる全文書数をＮａｌｌとし、ｗｋがある文書に現れる確率をｐ（ｗｋ）＝ｄｆ（ｗｋ）／Ｎａｌｌとする）により求める。
【００１８】
本発明（請求項３）は、コンピュータを、請求項１または２に記載の関連キーワード抽出装置の各手段として機能させるための関連キーワード抽出プログラムである。
【００１９】
本発明（請求項４）は、請求項３記載の関連キーワード抽出プログラムを格納したことを特徴とするコンピュータ読取可能な記録媒体である。
【発明の効果】
【００２０】
上記のように、本発明によれば、各文書の発信者に注目した分析を行うことで、分析対象語句と同一文書中に出現したかどうかに係わらず、分析対象語句に興味を持っている人々が同様に興味を持っている関連キーワードを抽出可能となる。各発信者毎の発信文書群中で繰り返し用いられる度合いが、分析対象語句が繰り返し用いられる度合いと近い語句を抽出することによって、分析対象キーワードと似通った使われ方をする関連語句のみを抽出することが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、図面と共に本発明の実施の形態を説明する。
【００２２】
図３は、本発明の一実施の形態における関連キーワード抽出装置の構成を示す。
【００２３】
同図に示す関連キーワード抽出装置２００は、大量の文書情報が蓄積された文書データベース２７０と、本装置が解析する処理対象キーワードを入力するキーワード入力装置２１０と、本装置が出力する関連キーワード情報を表示する関連キーワード表示装置２６０とが接続されている。
【００２４】
関連キーワード抽出装置２００は、関連発信者抽出部２２０、関連語句候補抽出部２３０、関連度算出部２４０、反復度算出部２５０から構成される。
【００２５】
文書データベース２７０には、発信者情報が付与された文書が大量に蓄積されている。例えば、ウェブ上の個人によって運営されているサイトにおける文書をその発信者の情報と共に次々と入力として記録することにより、文書データベース２７０を構築することができる。また、日記サイトのように新しい文書が逐次更新される情報源の場合には、サイト内の文書が更新された場合にも、新たな文書が作成されたと見做して収集してもよい。また、既存のウェブページの検索エンジンを、各ページのドメインＵＲＬを発信者情報と見做すことにより、文書データベース２７０の代わりとして用いてもよい。以下では、情報源として文書データベース２７０を利用するものとする。図４に、本発明の第１の実施の形態における文書データベースの情報の例を示す。
【００２６】
関連発信者抽出部２２０は、キーワード入力装置２１０から処理対象キーワードが入力されると、動作を開始し、文書データベース２７０にアクセスして処理対象キーワードを含む文書の発信者情報の一覧を取得する。取得した発信者の情報のうち重複する内容を取り除くことにより、処理対象キーワードを含む文書を一度でも発信したことのある発信者のリストを作成し、その情報を図５に示すような関連語句候補抽出部２３０の発信者バッファ２３１に蓄積する。
【００２７】
関連語句候補抽出部２３０は、関連発信者抽出部２２０によって発信者バッファ２３１に情報が蓄積されると、動作を開始し、発信者バッファ２３１に蓄積されている各発信者が過去に発信した文書の情報を文書データベース２７０にアクセスして取得し、得られた全ての文書情報の本文情報に対して形態素解析を行い、得られた品詞情報を集計することにより、発信者バッファ２３１に蓄積されている各発信者が過去に発信した文書に含まれる全ての語句の一覧を作成し、図６に示すような関連度算出部２４０の語句リストバッファ２４１に蓄積する。このとき、処理の軽減のために形態素解析処理によって得られた品詞群のうち、名詞のみを語句リストバッファ２４１に蓄積することにしてもよい。
【００２８】
関連度算出部２４０は、関連語句候補抽出部２３０によって語句リストバッファ２４１に情報が蓄積されると動作を開始し、語句リストバッファ２４１の全ての語句について、分析対象キーワードを発信したことがある発信者において特徴的に多く用いられる語句を関連キーワードとし、その関連の度合いを表す関連度を算出し、図７に示すような反復度算出部２５０の関連キーワードバッファ２５１に出力する。
【００２９】
次に、上記の関連度算出部２４０の処理の流れについて説明する。
【００３０】
図８は、本発明の第１の実施の形態における関連度算出部の処理のフローチャートである。
【００３１】
ステップ１１０）  関連度算出部２４０は、関連語句候補抽出部２３０によって語句リストバッファ２４１に情報が蓄積されると、動作を開始し、語句リストバッファ２４１から語句を一つ取り出して、関連度算出対象語句とする。以下、この関連度算出対象語句をｗｋと表記する。このとき、語句リストバッファ２４１に含まれる語句の数がＮ語ある場合は、ｗｋのｋは１〜Ｎまでの値をとる。
【００３２】
ステップ１２０）  文書データベース２７０にアクセスし、ｗｋを含む文書の数と文書データベース２７０に含まれる全文書数を取得し、ｗｋがある文書に現れる確率ｐ（ｗｋ）を求める。ｗｋを含む文書の数をｄｆ（ｗｋ）とし、文書データベース２７０に含まれる全文書数をＮａｌｌとすると、ｗｋがある文書に現れる確率ｐ（ｗｋ）は以下の式（１）で得られる。
【００３３】
【数５】
0005269481.tif 000003
ステップ１３０）  文書データベース２７０にアクセスすることによって、発信者バッファ２３１に含まれる各発信者について、ｗｋを含む文書を発信しているか否かを抽出し、ｗｋを含む文書を発信している場合には、当該発信者の発信した文書数に応じた正のスコアを算出し、ｗｋを含む文書を発信していない場合には発信した文書数に応じた負のスコアを算出し、得られた各発信者に対応するスコアを集計することにより、ｗｋの処理対象語句に対する関連度スコア（Ｒ（ｗｋ）と表記することとする）を算出する。
【００３４】
発信者バッファに含まれる発信者数をＵｉ，Ｌ番目の発信者によって発信されたｗｋを含む文書の数をｄｆＬ（ｗｋ）、文書データベース２７０中のＬ番目の発信者が発信した文書数ＮＬと表記すると、ｗｋの処理対象語句に対する関連度スコアＲ（ｗｋ）は下記の式（２）により算出できる。算出された関連度スコアＲ（ｗｋ）を関連度スコアバッファ２４２に格納する。
【００３５】
【数６】
0005269481.tif 000004
ステップ１４０）  ステップ１３０で得られたｗｋとＲ（ｗｋ）との組を反復度算出部２５０の関連キーワードバッファ２５１に蓄積する。関連キーワードバッファ２５１に含まれる情報の例を図７に示す。
【００３６】
ステップ１５０）  語句リストバッファ２４１の全ての語句についてステップ１１０からステップ１４０の処理を行ったかを確認し、未処理の語句が残っていた場合には、関連度スコアバッファ２４２を空にしてステップ１１０に戻り、処理を継続する。未処理の語句が残っていない場合には、関連度算出部２４０の処理を終了する。
【００３７】
反復度算出部２５０は、関連度算出部２４０の処理が終了すると、動作を開始し、関連キーワードバッファ２５１に含まれる語句情報それぞれについて文書データベース２７０にアクセスすることにより各発信源毎に当該発信源からの発信文書集合中において当該語句がどの程度の割合の文書数に含まれているかの割合を取得し、得られた割合と分析対象語句についても同様に求めた各発信源からの発信文書集合中にどの程度の割合で含まれているかの割合との差が、予め定められた範囲以内の語句を分析対象キーワードの関連キーワードと見做して関連キーワード出力装置２６０に出力する。
【００３８】
図９は、本発明の一実施の形態における反復度算出部の処理のフローチャートである。
【００３９】
ステップ２０１）  反復度算出部２５０は、処理を開始すると、関連キーワードバッファ２５１から１つ語句を取り出して、反復度算出対象語句とする。以下、この反復度算出対象語句をｗｊと表記する。
【００４０】
ステップ２０２）  次に、文書データベース２７０にアクセスすることによって、ｗｊを含む文書群を取得し、当該文書群に含まれる発信者情報を、重複を省いて集計することにより、ｗｊを含む文書を発信したことのある発信者のリストを取得する。
【００４１】
ステップ２０３）  得られた発信者リストに含まれる各発信者について文書データベース２７０にアクセスすることにより過去に発信した文書の数と語句ｗｊを含む文書の数とを取得し、語句ｗｊを含む文書の数を過去に発信した文書の数で割った値を求める。得られた値を発信者リストに含まれる全発信者について平均したものを、語句ｗｊの反復度として算出する。
【００４２】
具体的には、発信者リストに含まれる発信者の数をＶｉ、Ｌ番目の発信者が過去に発信した文書の数をＮＬ、Ｌ番目の発信者によって発信された語句ｗｊを含む文書の数をｄｆＬ（ｗｊ）と表記すると、ｗｊの反復度スコアＴ（ｗｊ）は下記の式（２）により算出できる。
【００４３】
【数７】
0005269481.tif 000005
ステップ２０４）  関連キーワードバッファ中の全ての語句についてステップ２０１〜ステップ２０３の処理を行ったかを確認し、未処理の語句が残っている場合には、ステップ２０１に移行し、処理を継続する。未処理の語句が残っていない場合には、ステップ２０５に移行する。
【００４４】
ステップ２０５）  分析対象キーワードについて、ステップ２０３の反復度スコア算出の手法を適用することにより、分析対象キーワードの反復度スコアを算出する。
【００４５】
ステップ２０６）  反復度スコアを算出した各語句について、分析対象キーワードの反復度スコアと当該語句の反復度スコアの差が予め定めた閾値以下であって、なおかつ当該語句の関連度スコア（Ｒ（ｗｋ））が予め定めた閾値以上の語句を、分析対象キーワードに関連していて使われ方も似通っている関連キーワードとして、関連キーワード表示装置２６０に出力する。
【００４６】
なお、上記の図３の構成の各構成要素の動作をプログラムとして構築し、関連度話題抽出装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００４７】
また、構築されたプログラムをハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００４８】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００４９】
本発明は、検索技術、特に、インターネット上の文書からキーワードを抽出する技術に適用可能である。
【図面の簡単な説明】
【００５０】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図
【図３】本発明の一実施の形態における関連話題抽出装置の構成図である。
【図４】本発明の一実施の形態における文書データベースに蓄積される情報の例である。
【図５】本発明の一実施の形態における発信者バッファに蓄積される情報の例である。
【図６】本発明の一実施の形態における語句リストバッファに蓄積される情報の例である。
【図７】本発明の一実施の形態における関連キーワードバッファに蓄積される情報の例である。
【図８】本発明の一実施の形態における関連度算出部の処理のフローチャートである。
【図９】本発明の一実施の形態における反復度算出部の処理のフローチャートである。
【符号の説明】
【００５１】
２００  関連話題度抽出装置
２１０  キーワード入力装置
２２０  関連発信者抽出手段、関連発信者抽出部
２３０  関連語句候補抽出手段、関連語句候補抽出部
２３１  発信者バッファ
２４０  関連度算出手段、関連度算出部
２４１  語句リストバッファ
２５０  反復度算出手段、反復度算出部
２５１  関連キーワードバッファ
２７０  情報源、文書データベース
【図１】
0005269481.tif 000007
【図２】
0005269481.tif 000008
【図３】
0005269481.tif 000009
【図４】
0005269481.tif 000010
【図５】
0005269481.tif 000011
【図６】
0005269481.tif 000012
【図７】
0005269481.tif 000013
【図８】
0005269481.tif 000014
【図９】
0005269481.tif 000015