(57)【特許請求の範囲】
【請求項１】
大量の文書情報から入力された分析対象キーワードの関連キーワードを抽出して出力する関連キーワード抽出方法であって、
関連発信者抽出手段が、外部から関連話題を抽出する対象となる分析対象キーワードを受け付けるキーワード受付ステップと、
前記関連発信者抽出手段が、発信者の情報が付与された文書が蓄積されているデータベースや検索エンジンを含む情報源にアクセスし、前記分析対象キーワードを含む記事を作成したことがある発信者の集合を、該分析対象キーワードに関心を持つ人々の集合と見做して抽出する関連発信者抽出ステップと、
関連語句候補抽出手段が、前記関連発信者抽出ステップで得られた前記分析対象キーワードに興味を持つ発信者によって作成された文書集合を、該分析対象キーワードに関連する文書として前記情報源にアクセスして抽出する文書集合抽出ステップと、
前記関連語句抽出手段が、前記文書集合抽出ステップで抽出された文書集合を解析し、該文書集合に出現する語句を分析対象キーワードに関連する処理対象語句として抽出する語句抽出ステップと、
関連度算出手段が、前記処理対象語句の出現回数を求め、発信者単位で該出現回数の偏りに基づいて、該処理対象語句と前記分析対象キーワードとの関連度を算出する関連度算出ステップと、
関連キーワード抽出手段が、前記関連度算出ステップで算出された前記関連度に基づいて、処理対象語句の中から関連キーワードを決定する関連キーワード抽出ステップと、
を有し、
前記関連度算出ステップにおいて、
ある処理対象語句をｗｋ、情報源に含まれるＬ番目の発信者が発信した文書数をＮＬ，情報源に含まれるｗｋを含む文書の数をｄｆ（ｗｋ）、情報源に含まれる全文書数をＮａｌｌ、ｗｋがある文書に現れる確率をｐ（ｗｋ）＝ｄｆ（ｗｋ）／Ｎａｌｌとしたときに、
発信者Ｌがｗｋを含む文書を発信していれば、ｐ（ｗｋ）が大きいほどに小さな正値となり、ＮＬが大きいほど小さな正値となる正のスコアを決められた式により算出し、発信者Ｌがｗｋを含む文書を発信していなければ、ｐ（ｗｋ）が大きいほどに大きな負値となり、ＮＬが大きいほど大きな負値となる負のスコアを決められた式により算出し、前記正のスコア及び前記負のスコアを、分析対象キーワードを含む文書を発信したことのある発信者全員分について集計した値を、前記関連度とすることを特徴とする関連キーワード抽出方法。
【請求項２】
大量の文書情報から入力された分析対象キーワードの関連キーワードを抽出して出力する関連キーワード抽出方法であって、
関連発信者抽出手段が、外部から関連話題を抽出する対象となる分析対象キーワードを受け付けるキーワード受付ステップと、
前記関連発信者抽出手段が、発信者の情報が付与された文書が蓄積されているデータベースや検索エンジンを含む情報源にアクセスし、前記分析対象キーワードを含む記事を作成したことがある発信者の集合を、該分析対象キーワードに関心を持つ人々の集合と見做して抽出する関連発信者抽出ステップと、
関連語句候補抽出手段が、前記関連発信者抽出ステップで得られた前記分析対象キーワードに興味を持つ発信者によって作成された文書集合を、該分析対象キーワードに関連する文書として前記情報源にアクセスして抽出する文書集合抽出ステップと、
前記関連語句抽出手段が、前記文書集合抽出ステップで抽出された文書集合を解析し、該文書集合に出現する語句を分析対象キーワードに関連する処理対象語句として抽出する語句抽出ステップと、
関連度算出手段が、前記処理対象語句の出現回数を求め、発信者単位で該出現回数の偏りに基づいて、該処理対象語句と前記分析対象キーワードとの関連度を算出する関連度算出ステップと、
関連キーワード抽出手段が、前記関連度算出ステップで算出された前記関連度に基づいて、処理対象語句の中から関連キーワードを決定する関連キーワード抽出ステップと、
を有し、
前記関連度算出ステップにおいて、
ある処理対象語句をｗｋとしたときに、前記関連度を、
【数１】
0004977004.tif 000010
（但し、分析対象キーワードを含む文書を発信したことのある発信者数をＵｉ、Ｌ番目の発信者によって発信されたｗｋを含む文書の数をｄｆＬ（ｗｋ），情報源に含まれるＬ番目の発信者が発信した文書数をＮＬ，情報源に含まれるｗｋを含む文書の数をｄｆ（ｗｋ）とし、情報源に含まれる全文書数をＮａｌｌとし、ｗｋがある文書に現れる確率をｐ（ｗｋ）＝ｄｆ（ｗｋ）／Ｎａｌｌとする）
により求めることを特徴とする関連キーワード抽出方法。
【請求項３】
大量の文書情報から入力された分析対象キーワードの関連キーワードを抽出して出力する関連キーワード抽出方法であって、
関連発信者抽出手段が、外部から関連話題を抽出する対象となる分析対象キーワードを受け付けるキーワード受付ステップと、
前記関連発信者抽出手段が、発信者の情報が付与された文書が蓄積されているデータベースや検索エンジンを含む情報源にアクセスし、前記分析対象キーワードを含む記事を作成したことがある発信者の集合を、該分析対象キーワードに関心を持つ人々の集合と見做して抽出する関連発信者抽出ステップと、
関連語句候補抽出手段が、前記関連発信者抽出ステップで得られた前記分析対象キーワードに興味を持つ発信者によって作成された文書集合を、該分析対象キーワードに関連する文書として前記情報源にアクセスして抽出する文書集合抽出ステップと、
前記関連語句抽出手段が、前記文書集合抽出ステップで抽出された文書集合を解析し、該文書集合に出現する語句を分析対象キーワードに関連する処理対象語句として抽出する語句抽出ステップと、
関連度算出手段が、前記処理対象語句の出現回数を求め、発信者単位で該出現回数の偏りに基づいて、該処理対象語句と前記分析対象キーワードとの関連度を算出する関連度算出ステップと、
関連キーワード抽出手段が、前記関連度算出ステップで算出された前記関連度に基づいて、処理対象語句の中から関連キーワードを決定する関連キーワード抽出ステップと、
を有し、
前記関連度算出ステップにおいて、
ある処理対象語句をｗｋとしたときに、前記関連度を、
【数２】
0004977004.tif 000011
（但し、情報源に含まれる全文書数Ｎａｌｌと情報源に含まれる全発信者数Ｕａｌｌとから求められる発信者一人当たりの平均文書数をＮａｖｒ＝Ｎａｌｌ／Ｕａｌｌとし、情報源に含まれるｗｋを含む文書の数をｄｆ（ｗｋ）とし、ｗｋがある文書に現れる確率をｐ（ｗｋ）＝ｄｆ（ｗｋ）／Ｎａｌｌとし、分析対象キーワードを含む文書を発信したことのある発信者数をＵｉとし、分析対象キーワードを含む文書を発信したことがあり、なおかつｗｋを含む文書を発信したことのある発信者数をＵｋとする）
により求めることを特徴とする関連キーワード抽出方法。
【請求項４】
大量の文書情報から入力された分析対象キーワードの関連キーワードを抽出して出力する関連キーワード抽出装置であって、
発信者の情報が付与された文書が蓄積されているデータベースや検索エンジンを含む情報源と、
外部から関連話題を抽出する対象となる分析対象キーワードを受け付け、前記情報源にアクセスし、前記分析対象キーワードを含む記事を作成したことがある発信者の集合を、該分析対象キーワードに関心を持つ人々の集合と見做して抽出する関連発信者抽出手段と、
前記関連発信者抽出手段で得られた前記分析対象キーワードに興味を持つ発信者によって作成された文書集合を、該分析対象キーワードに関連する文書として前記情報源にアクセスして抽出し、該文書集合を解析し、該文書集合に出現する語句を分析対象キーワードに関連する処理対象語句として抽出する関連語句候補抽出手段と、
前記処理対象語句の出現回数を求め、発信者単位で該出現回数の偏りに基づいて、該処理対象語句と前記分析対象キーワードとの関連度を算出する関連度算出手段と、
前記関連度算出手段で算出された前記関連度に基づいて、処理対象語句の中から関連キーワードを決定する関連キーワード抽出手段と、
を有し、
前記関連度算出手段は、
ある処理対象語句をｗｋ、情報源に含まれるＬ番目の発信者が発信した文書数をＮＬ，情報源に含まれるｗｋを含む文書の数をｄｆ（ｗｋ）、情報源に含まれる全文書数をＮａｌｌ、ｗｋがある文書に現れる確率をｐ（ｗｋ）＝ｄｆ（ｗｋ）／Ｎａｌｌとしたときに、
発信者Ｌがｗｋを含む文書を発信していれば、ｐ（ｗｋ）が大きいほどに小さな正値となり、ＮＬが大きいほど小さな正値となる正のスコアを決められた式により算出し、発信者Ｌがｗｋを含む文書を発信していなければ、ｐ（ｗｋ）が大きいほどに大きな負値となり、ＮＬが大きいほど大きな負値となる負のスコアを決められた式により算出し、前記正のスコア及び前記負のスコアを、分析対象キーワードを含む文書を発信したことのある発信者全員分について集計した値を、前記関連度とする手段を含むことを特徴とする関連キーワード抽出装置。
【請求項５】
大量の文書情報から入力された分析対象キーワードの関連キーワードを抽出して出力する関連キーワード抽出装置であって、
発信者の情報が付与された文書が蓄積されているデータベースや検索エンジンを含む情報源と、
外部から関連話題を抽出する対象となる分析対象キーワードを受け付け、前記情報源にアクセスし、前記分析対象キーワードを含む記事を作成したことがある発信者の集合を、該分析対象キーワードに関心を持つ人々の集合と見做して抽出する関連発信者抽出手段と、
前記関連発信者抽出手段で得られた前記分析対象キーワードに興味を持つ発信者によって作成された文書集合を、該分析対象キーワードに関連する文書として前記情報源にアクセスして抽出し、該文書集合を解析し、該文書集合に出現する語句を分析対象キーワードに関連する処理対象語句として抽出する関連語句候補抽出手段と、
前記処理対象語句の出現回数を求め、発信者単位で該出現回数の偏りに基づいて、該処理対象語句と前記分析対象キーワードとの関連度を算出する関連度算出手段と、
前記関連度算出手段で算出された前記関連度に基づいて、処理対象語句の中から関連キーワードを決定する関連キーワード抽出手段と、
を有し、
前記関連度算出手段は、
ある処理対象語句をｗｋとしたときに、前記関連度を、
【数３】
0004977004.tif 000012
（但し、分析対象キーワードを含む文書を発信したことのある発信者数をＵｉ、Ｌ番目の発信者によって発信されたｗｋを含む文書の数をｄｆＬ（ｗｋ），情報源に含まれるＬ番目の発信者が発信した文書数をＮＬ，情報源に含まれるｗｋを含む文書の数をｄｆ（ｗｋ）とし、情報源に含まれる全文書数をＮａｌｌとし、ｗｋがある文書に現れる確率をｐ（ｗｋ）＝ｄｆ（ｗｋ）／Ｎａｌｌとする）
により求めることを特徴とする関連キーワード抽出装置。
【請求項６】
大量の文書情報から入力された分析対象キーワードの関連キーワードを抽出して出力する関連キーワード抽出装置であって、
発信者の情報が付与された文書が蓄積されているデータベースや検索エンジンを含む情報源と、
外部から関連話題を抽出する対象となる分析対象キーワードを受け付け、前記情報源にアクセスし、前記分析対象キーワードを含む記事を作成したことがある発信者の集合を、該分析対象キーワードに関心を持つ人々の集合と見做して抽出する関連発信者抽出手段と、
前記関連発信者抽出手段で得られた前記分析対象キーワードに興味を持つ発信者によって作成された文書集合を、該分析対象キーワードに関連する文書として前記情報源にアクセスして抽出し、該文書集合を解析し、該文書集合に出現する語句を分析対象キーワードに関連する処理対象語句として抽出する関連語句候補抽出手段と、
前記処理対象語句の出現回数を求め、発信者単位で該出現回数の偏りに基づいて、該処理対象語句と前記分析対象キーワードとの関連度を算出する関連度算出手段と、
前記関連度算出手段で算出された前記関連度に基づいて、処理対象語句の中から関連キーワードを決定する関連キーワード抽出手段と、
を有し、
前記関連度算出手段は、
ある処理対象語句をｗｋとしたときに、前記関連度を、
【数４】
0004977004.tif 000013
（但し、情報源に含まれる全文書数Ｎａｌｌと情報源に含まれる全発信者数Ｕａｌｌとから求められる発信者一人当たりの平均文書数をＮａｖｒ＝Ｎａｌｌ／Ｕａｌｌとし、情報源に含まれるｗｋを含む文書の数をｄｆ（ｗｋ）とし、ｗｋがある文書に現れる確率をｐ（ｗｋ）＝ｄｆ（ｗｋ）／Ｎａｌｌとし、分析対象キーワードを含む文書を発信したことのある発信者数をＵｉとし、分析対象キーワードを含む文書を発信したことがあり、なおかつｗｋを含む文書を発信したことのある発信者数をＵｋとする）
により求めることを特徴とする関連キーワード抽出装置。
【請求項７】
請求項４乃至６のいずれか１項に記載の関連キーワード抽出装置を構成する各手段としてコンピュータを機能させることを特徴とする関連キーワード抽出プログラム。
【請求項８】
請求項７記載の関連キーワード抽出プログラムを格納したことを特徴とするコンピュータ読取可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、関連キーワード抽出方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体に係り、特に、利用者が入力したキーワードと適切な関係にある関連キーワードを、与えられた文書群を解析することにより自動的に抽出するための関連キーワード抽出方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体に関する。
【背景技術】
【０００２】
インターネットをはじめとした情報メディアの発達により、誰であっても容易に情報発信を行えるようになり、ブログ記事などの様々な興味を持つ個人によって書かれた文書がインターネット上に配信され、蓄積されるようになってきた。これらの文書群は個人の興味・関心に関する事柄が書かれているため、その内容を読むことにより消費者の関心事項といったマーケティングに利用可能な情報を得ることができる。例えば、特定の商品名を含む文書の集合に目を通すことにより、当該商品に関心を持っている人々が興味を持つ関連事項を発見することができる。
【０００３】
上記の作業は時間と人手がかかるため、与えられた大量の文書集合を機械的に分析することにより、事前に設定された分析対象語句に関連する語句を自動的に抽出することに対するニーズが存在する。
【０００４】
利用者の入力した分析対象語句の関連キーワードを抽出する手法は多数提案されている。
【０００５】
従来の技術として、大量の文書中における語句の共起回数を分析することにより、より多く共起するような語句を、関連キーワードとして抽出する技術がある（例えば、特許文献１参照）。
【０００６】
他の従来技術として、ユーザが設定した分析対象語句について、当該語句を含む文書中での出現頻度が当該語句を含まない文書集合中での出現頻度に対して、有意に高いような語句を関連キーワードとして抽出する技術も提案されている。
【特許文献１】特開平５−２８２３６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記２つの従来の技術は、ユーザの設定した分析対象語句を含む文書中から関連キーワードを抽出するため、関連キーワードが分析対象語句と同じ文書に記述されていない場合には関連キーワードとして抽出されない。そのため、同一分野における異なるニュース記事に含まれるキーワードのような、内容的には非常に関連が高いが別の文書に書かれるキーワードを関連キーワードとして抽出できず、狭い範囲の関連キーワードしか抽出できないという問題点があった。
【０００８】
また、ブログ記事集合には一般消費者を装って大量の広告記事を配信するスパムブログと呼ばれる発信者が存在しており、その影響を除去した分析を行いたいというニーズが存在する。しかし、上記２つの従来の技術は、文書単位での語句の出現頻度を元に関連キーワードの抽出を行うため、特定の発信者が類似の文書を大量に発信しているような場合に、それらの文書の内容が抽出精度を低下させるという問題点がある。
【０００９】
本発明は、上記の点に鑑みなされたもので、同一の発信者による文書群を関連する文書とみなして解析を行うことにより、分析対象語句の関連キーワードを広範囲から精度良く抽出することが可能な関連キーワード抽出方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
図１は、本発明の原理を説明するための図である。
【００１１】
本発明（請求項１）は、大量の文書情報から入力された分析対象キーワードの関連キーワードを抽出して出力する関連キーワード抽出方法であって、
関連発信者抽出手段が、外部から関連話題を抽出する対象となる分析対象キーワードを受け付けるキーワード受付ステップ（ステップ１）と、
関連発信者抽出手段が、発信者の情報が付与された文書が蓄積されているデータベースや検索エンジンを含む情報源にアクセスし、分析対象キーワードを含む記事を作成したことがある発信者の集合を、該分析対象キーワードに関心を持つ人々の集合と見做して抽出する関連発信者抽出ステップ（ステップ２）と、
関連語句候補抽出手段が、関連発信者抽出ステップで得られた分析対象キーワードに興味を持つ発信者によって作成された文書集合を、該分析対象キーワードに関連する文書として情報源にアクセスして抽出する文書集合抽出ステップ（ステップ３）と、
関連語句抽出手段が、文書集合抽出ステップで抽出された文書集合を解析し、該文書集合に出現する語句を分析対象キーワードに関連する処理対象語句として抽出する語句抽出ステップ（ステップ４）と、
関連度算出手段が、処理対象語句の出現回数を求め、発信者単位で該出現回数の偏りに基づいて、該処理対象語句と分析対象キーワードとの関連度を算出する関連度算出ステップ（ステップ５）と、
関連キーワード抽出手段が、関連度算出ステップで算出された関連度に基づいて、処理対象語句の中から関連キーワードを決定する関連キーワード抽出ステップ（ステップ６）と、
を有し、
関連度算出ステップ（ステップ５）において、
ある処理対象語句をｗｋ、情報源に含まれるＬ番目の発信者が発信した文書数をＮＬ，情報源に含まれるｗｋを含む文書の数をｄｆ（ｗｋ）、情報源に含まれる全文書数をＮａｌｌ、ｗｋがある文書に現れる確率をｐ（ｗｋ）＝ｄｆ（ｗｋ）／Ｎａｌｌとしたときに、
発信者Ｌがｗｋを含む文書を発信していれば、ｐ（ｗｋ）が大きいほどに小さな正値となり、ＮＬが大きいほど小さな正値となる正のスコアを決められた式により算出し、発信者Ｌがｗｋを含む文書を発信していなければ、ｐ（ｗｋ）が大きいほどに大きな負値となり、ＮＬが大きいほど大きな負値となる負のスコアを決められた式により算出し、正のスコア及び負のスコアを、分析対象キーワードを含む文書を発信したことのある発信者全員分について集計した値を、関連度とする。
【００１３】
本発明（請求項２）は、大量の文書情報から入力された分析対象キーワードの関連キーワードを抽出して出力する関連キーワード抽出方法であって、
関連発信者抽出手段が、外部から関連話題を抽出する対象となる分析対象キーワードを受け付けるキーワード受付ステップ(ステップ１)と、
関連発信者抽出手段が、発信者の情報が付与された文書が蓄積されているデータベースや検索エンジンを含む情報源にアクセスし、分析対象キーワードを含む記事を作成したことがある発信者の集合を、該分析対象キーワードに関心を持つ人々の集合と見做して抽出する関連発信者抽出ステップ（ステップ２）と、
関連語句候補抽出手段が、関連発信者抽出ステップで得られた分析対象キーワードに興味を持つ発信者によって作成された文書集合を、該分析対象キーワードに関連する文書として情報源にアクセスして抽出する文書集合抽出ステップ（ステップ３）と、
関連語句抽出手段が、文書集合抽出ステップで抽出された文書集合を解析し、該文書集合に出現する語句を分析対象キーワードに関連する処理対象語句として抽出する語句抽出ステップ（ステップ４）と、
関連度算出手段が、処理対象語句の出現回数を求め、発信者単位で該出現回数の偏りに基づいて、該処理対象語句と分析対象キーワードとの関連度を算出する関連度算出ステップ（ステップ５）と、
関連キーワード抽出手段が、関連度算出ステップで算出された関連度に基づいて、処理対象語句の中から関連キーワードを決定する関連キーワード抽出ステップ（ステップ６）と、
を有し、
関連度算出ステップ（ステップ５）において、
ある処理対象語句をｗｋとしたときに、関連度を、
【００１４】
【数５】
0004977004.tif 000002
（但し、分析対象キーワードを含む文書を発信したことのある発信者数をＵｉ、Ｌ番目の発信者によって発信されたｗｋを含む文書の数をｄｆＬ（ｗｋ），情報源に含まれるＬ番目の発信者が発信した文書数をＮＬ，情報源に含まれるｗｋを含む文書の数をｄｆ（ｗｋ）とし、情報源に含まれる全文書数をＮａｌｌとし、ｗｋがある文書に現れる確率をｐ（ｗｋ）＝ｄｆ（ｗｋ）／Ｎａｌｌとする）
により求める。
【００１５】
本発明（請求項３）は、大量の文書情報から入力された分析対象キーワードの関連キーワードを抽出して出力する関連キーワード抽出方法であって、
関連発信者抽出手段が、外部から関連話題を抽出する対象となる分析対象キーワードを受け付けるキーワード受付ステップ(ステップ１)と、
関連発信者抽出手段が、発信者の情報が付与された文書が蓄積されているデータベースや検索エンジンを含む情報源にアクセスし、分析対象キーワードを含む記事を作成したことがある発信者の集合を、該分析対象キーワードに関心を持つ人々の集合と見做して抽出する関連発信者抽出ステップ（ステップ２）と、
関連語句候補抽出手段が、関連発信者抽出ステップで得られた分析対象キーワードに興味を持つ発信者によって作成された文書集合を、該分析対象キーワードに関連する文書として情報源にアクセスして抽出する文書集合抽出ステップ（ステップ３）と、
関連語句抽出手段が、文書集合抽出ステップで抽出された文書集合を解析し、該文書集合に出現する語句を分析対象キーワードに関連する処理対象語句として抽出する語句抽出ステップ（ステップ４）と、
関連度算出手段が、処理対象語句の出現回数を求め、発信者単位で該出現回数の偏りに基づいて、該処理対象語句と分析対象キーワードとの関連度を算出する関連度算出ステップ（ステップ５）と、
関連キーワード抽出手段が、関連度算出ステップで算出された関連度に基づいて、処理対象語句の中から関連キーワードを決定する関連キーワード抽出ステップ（ステップ６）と、
を有し、
関連度算出ステップ（ステップ５）において、
ある処理対象語句をｗｋとしたときに、関連度を、
【００１６】
【数６】
0004977004.tif 000003
（但し、情報源に含まれる全文書数Ｎａｌｌと情報源に含まれる全発信者数Ｕａｌｌとから求められる発信者一人当たりの平均文書数をＮａｖｒ＝Ｎａｌｌ／Ｕａｌｌとし、情報源に含まれるｗｋを含む文書の数をｄｆ（ｗｋ）とし、ｗｋがある文書に現れる確率をｐ（ｗｋ）＝ｄｆ（ｗｋ）／Ｎａｌｌとし、分析対象キーワードを含む文書を発信したことのある発信者数をＵｉとし、分析対象キーワードを含む文書を発信したことがあり、なおかつｗｋを含む文書を発信したことのある発信者数をＵｋとする）
により求める。
【００１７】
図２は、本発明の原理構成図である。
【００１８】
本発明（請求項４）は、大量の文書情報から入力された分析対象キーワードの関連キーワードを抽出して出力する関連キーワード抽出装置であって、
発信者の情報が付与された文書が蓄積されているデータベースや検索エンジンを含む情報源２７０と、
外部から関連話題を抽出する対象となる分析対象キーワードを受け付け、情報源２７０にアクセスし、分析対象キーワードを含む記事を作成したことがある発信者の集合を、該分析対象キーワードに関心を持つ人々の集合と見做して抽出する関連発信者抽出手段２２０と、
関連発信者抽出手段２２０で得られた分析対象キーワードに興味を持つ発信者によって作成された文書集合を、該分析対象キーワードに関連する文書として情報源２７０にアクセスして抽出し、該文書集合を解析し、該文書集合に出現する語句を分析対象キーワードに関連する処理対象語句として抽出する関連語句候補抽出手段２３０と、
処理対象語句の出現回数を求め、発信者単位で該出現回数の偏りに基づいて、該処理対象語句と分析対象キーワードとの関連度を算出する関連度算出手段２４０と、
関連度算出手段２４０で算出された関連度に基づいて、処理対象語句の中から関連キーワードを決定する関連キーワード抽出手段２５０と、
を有し、
関連度算出手段２４０は、
ある処理対象語句をｗｋ、情報源に含まれるＬ番目の発信者が発信した文書数をＮＬ，情報源に含まれるｗｋを含む文書の数をｄｆ（ｗｋ）、情報源に含まれる全文書数をＮａｌｌ、ｗｋがある文書に現れる確率をｐ（ｗｋ）＝ｄｆ（ｗｋ）／Ｎａｌｌとしたときに、
発信者Ｌがｗｋを含む文書を発信していれば、ｐ（ｗｋ）が大きいほどに小さな正値となり、ＮＬが大きいほど小さな正値となる正のスコアを決められた式により算出し、発信者Ｌがｗｋを含む文書を発信していなければ、ｐ（ｗｋ）が大きいほどに大きな負値となり、ＮＬが大きいほど大きな負値となる負のスコアを決められた式により算出し、正のスコア及び負のスコアを、分析対象キーワードを含む文書を発信したことのある発信者全員分について集計した値を、関連度とする手段を含む。
【００２０】
本発明（請求項５）は、大量の文書情報から入力された分析対象キーワードの関連キーワードを抽出して出力する関連キーワード抽出装置であって、
発信者の情報が付与された文書が蓄積されているデータベースや検索エンジンを含む情報源２７０と、
外部から関連話題を抽出する対象となる分析対象キーワードを受け付け、情報源２７０にアクセスし、分析対象キーワードを含む記事を作成したことがある発信者の集合を、該分析対象キーワードに関心を持つ人々の集合と見做して抽出する関連発信者抽出手段２２０と、
関連発信者抽出手段２２０で得られた分析対象キーワードに興味を持つ発信者によって作成された文書集合を、該分析対象キーワードに関連する文書として情報源２７０にアクセスして抽出し、該文書集合を解析し、該文書集合に出現する語句を分析対象キーワードに関連する処理対象語句として抽出する関連語句候補抽出手段２３０と、
処理対象語句の出現回数を求め、発信者単位で該出現回数の偏りに基づいて、該処理対象語句と分析対象キーワードとの関連度を算出する関連度算出手段２４０と、
関連度算出手段２４０で算出された関連度に基づいて、処理対象語句の中から関連キーワードを決定する関連キーワード抽出手段２５０と、
を有し、
関連度算出手段２４０は、
ある処理対象語句をｗｋとしたときに、関連度を、
【００２１】
【数７】
0004977004.tif 000004
（但し、分析対象キーワードを含む文書を発信したことのある発信者数をＵｉ、Ｌ番目の発信者によって発信されたｗｋを含む文書の数をｄｆＬ（ｗｋ），情報源に含まれるＬ番目の発信者が発信した文書数をＮＬ，情報源に含まれるｗｋを含む文書の数をｄｆ（ｗｋ）とし、情報源に含まれる全文書数をＮａｌｌとし、ｗｋがある文書に現れる確率をｐ（ｗｋ）＝ｄｆ（ｗｋ）／Ｎａｌｌとする）
により求める。
【００２２】
本発明（請求項６）は、大量の文書情報から入力された分析対象キーワードの関連キーワードを抽出して出力する関連キーワード抽出装置であって、
発信者の情報が付与された文書が蓄積されているデータベースや検索エンジンを含む情報源２７０と、
外部から関連話題を抽出する対象となる分析対象キーワードを受け付け、情報源２７０にアクセスし、分析対象キーワードを含む記事を作成したことがある発信者の集合を、該分析対象キーワードに関心を持つ人々の集合と見做して抽出する関連発信者抽出手段２２０と、
関連発信者抽出手段２２０で得られた分析対象キーワードに興味を持つ発信者によって作成された文書集合を、該分析対象キーワードに関連する文書として情報源２７０にアクセスして抽出し、該文書集合を解析し、該文書集合に出現する語句を分析対象キーワードに関連する処理対象語句として抽出する関連語句候補抽出手段２３０と、
処理対象語句の出現回数を求め、発信者単位で該出現回数の偏りに基づいて、該処理対象語句と分析対象キーワードとの関連度を算出する関連度算出手段２４０と、
関連度算出手段２４０で算出された関連度に基づいて、処理対象語句の中から関連キーワードを決定する関連キーワード抽出手段２５０と、
を有し、
関連度算出手段２４０は、
ある処理対象語句をｗｋとしたときに、関連度を、
【００２３】
【数８】
0004977004.tif 000005
（但し、情報源に含まれる全文書数Ｎａｌｌと情報源に含まれる全発信者数Ｕａｌｌとから求められる発信者一人当たりの平均文書数をＮａｖｒ＝Ｎａｌｌ／Ｕａｌｌとし、情報源に含まれるｗｋを含む文書の数をｄｆ（ｗｋ）とし、ｗｋがある文書に現れる確率をｐ（ｗｋ）＝ｄｆ（ｗｋ）／Ｎａｌｌとし、分析対象キーワードを含む文書を発信したことのある発信者数をＵｉとし、分析対象キーワードを含む文書を発信したことがあり、なおかつｗｋを含む文書を発信したことのある発信者数をＵｋとする）
により求める。
【００２４】
本発明（請求項７）は、請求項４乃至６のいずれか１項に記載の関連キーワード抽出装置を構成する各手段としてコンピュータを機能させる関連キーワード抽出プログラムである。
【００２５】
本発明（請求項８）は、請求項７記載の関連キーワード抽出プログラムを格納したことを特徴とするコンピュータ読取可能な記録媒体である。
【発明の効果】
【００２６】
上記のように本発明によれば、各文書の発信者に注目した分析を行うことによって、分析対象語句と同一文書中に出現したかどうかに係らず、分析対象語句に興味を持っている人々が同様に興味を持っている関連キーワードを抽出可能となる。
【００２７】
また、同様に各文書の発信者に注目した分析を行うことにより、スパムグログのような大量に似通った記事を発信するような発信者の影響を除去した精度のよい関連キーワードの抽出が可能となる。
【発明を実施するための最良の形態】
【００２８】
以下、図面と共に本発明の実施の形態を説明する。
【００２９】
［第１の実施の形態］
図３は、本発明の第１の実施の形態における関連キーワード抽出装置の構成を示す。
【００３０】
同図に示す関連キーワード抽出装置２００は、大量の文書情報が蓄積された文書データベース２７０と、本装置が解析する処理対象キーワードを入力するために用いるキーワード入力装置２１０と、本装置が出力する関連キーワード情報を表示する関連キーワード表示装置２６０とが接続されている。
【００３１】
関連キーワード抽出装置２００は、関連発信者抽出部２２０、関連語句候補抽出部２３０、関連度算出部２４０、関連キーワード出力部２５０から構成される。
【００３２】
文書データベース２７０には、発信者情報が付与された文書が大量に蓄積されている。例えば、ウェブ上の個人によって運営されているサイトにおける文書をその発信者の情報と共に次々と入力として記録することにより、文書データベース２７０を構築することができる。また、日記サイトのように新しい文書が逐次更新される情報源の場合には、サイト内の文書が更新された場合にも、新たな文書が作成されたと見做して収集してもよい。また、既存のウェブページの検索エンジンを、各ページのドメインＵＲＬを発信者情報と見做すことにより、文書データベース２７０の代わりとして用いてもよい。以下では、情報源として文書データベース２７０を利用するものとする。図４に、本発明の第１の実施の形態における文書データベースの情報の例を示す。
【００３３】
関連発信者抽出部２２０は、キーワード入力装置２１０から処理対象キーワードが入力されると、動作を開始し、文書データベース２７０にアクセスして処理対象キーワードを含む文書の発信者情報の一覧を取得する。取得した発信者の情報のうち重複する内容を取り除くことにより、処理対象キーワードを含む文書を一度でも発信したことのある発信者のリストを作成し、その情報を図５に示すような関連語句候補抽出部２３０の発信者バッファ２３１に蓄積する。
【００３４】
関連語句候補抽出部２３０は、関連発信者抽出部２２０によって発信者バッファ２３１に情報が蓄積されると、動作を開始し、発信者バッファ２３１に蓄積されている各発信者が過去に発信した文書の情報を文書データベース２７０にアクセスして取得し、得られた全ての文書情報の本文情報に対して形態素解析を行い、得られた品詞情報を集計することにより、発信者バッファ２３１に蓄積されている各発信者が過去に発信した文書に含まれる全ての語句の一覧を作成し、図６に示すような関連度算出部２４０の語句リストバッファ２４１に蓄積する。このとき、処理の軽減のために形態素解析処理によって得られた品詞群のうち、名詞のみを語句リストバッファ２４１に蓄積することにしてもよい。
【００３５】
関連度算出部２４０は、関連語句候補抽出部２３０によって語句リストバッファ２４１に情報が蓄積されると動作を開始し、語句リストバッファ２４１の全ての語句について、分析対象キーワードを発信したことがある発信者において特徴的に多く用いられる語句を関連キーワードとし、その関連の度合いを表す関連度を算出し、図７に示すような関連キーワード出力部２５０の関連キーワードバッファ２５１に出力する。
【００３６】
次に、上記の関連度算出部２４０の処理の流れについて説明する。
【００３７】
図８は、本発明の第１の実施の形態における関連度算出部の処理のフローチャートである。
【００３８】
ステップ１１０）  関連度算出部２４０は、関連語句候補抽出部２３０によって語句リストバッファ２４１に情報が蓄積されると、動作を開始し、語句リストバッファ２４１から語句を一つ取り出して、関連度算出対象語句とする。以下、この関連度算出対象語句をｗｋと表記する。このとき、語句リストバッファ２４１に含まれる語句の数がＮ語ある場合は、ｗｋのｋは１〜Ｎまでの値をとる。
【００３９】
ステップ１２０）  文書データベース２７０にアクセスし、ｗｋを含む文書の数と文書データベース２７０に含まれる全文書数を取得し、ｗｋがある文書に現れる確率ｐ（ｗｋ）を求める。ｗｋを含む文書の数をｄｆ（ｗｋ）とし、文書データベース２７０に含まれる全文書数をＮａｌｌとすると、ｗｋがある文書に現れる確率ｐ（ｗｋ）は以下の式（１）で得られる。
【００４０】
【数９】
0004977004.tif 000006
ステップ１３０）  文書データベース２７０にアクセスすることによって、発信者バッファ２３１に含まれる各発信者について、ｗｋを含む文書を発信しているか否かを抽出し、ｗｋを含む文書を発信している場合には、当該発信者の発信した文書数に応じた正のスコアを算出し、ｗｋを含む文書を発信していない場合には発信した文書数に応じた負のスコアを算出し、得られた各発信者に対応するスコアを集計することにより、ｗｋの処理対象語句に対する関連度スコア（Ｒ（ｗｋ）と表記する事とする）を算出する（ステップ１３０）。
【００４１】
発信者バッファに含まれる発信者数をＵｉ，Ｌ番目の発信者によって発信されたｗｋを含む文書の数をｄｆＬ（ｗｋ）、文書データベース２７０中のＬ番目の発信者が発信した文書数ＮＬと表記すると、ｗｋの処理対象語句に対する関連度スコアＲ（ｗｋ）は下記の式（２）により算出できる。算出された関連度スコアＲ（ｗｋ）を関連度スコアバッファ２４２に格納する。
【００４２】
【数１０】
0004977004.tif 000007
ステップ１４０）  ステップ１３０で得られたｗｋとＲ（Ｒｗｋ）との組を、関連キーワード出力部の関連キーワードバッファ２５１に蓄積する。関連キーワードバッファ２５１に含まれる情報の例を図７に示す。
【００４３】
ステップ１５０）  語句リストバッファ２４１の全ての語句についてステップ１１０からステップ１４０の処理を行ったかを確認し、未処理の語句が残っていた場合には、関連度スコアバッファ２４２を空にしてステップ１１０に戻り、処理を継続する。未処理の語句が残っていない場合には、関連度算出部２４０の処理を終了する。
【００４４】
関連キーワード出力部２５０は、関連度算出部２４０の処理が終了すると、動作を開始し、関連キーワードバッファ２５１に含まれる語句情報を関連度の高い順に並び替え、予め指定された閾値よりも高い関連度をもつ語句を分析対象キーワードの関連キーワードと見做して、関連キーワード出力装置２６０に出力する。
【００４５】
［第２の実施の形態］
前述の第１の形態における式（２）は、各発信者の発信文書数を全て求める必要があるため、発信者バッファ２３１に含まれる発信者数分の問い合わせを文書データベースに行わなければならないため、処理時間がかかるという問題がある。これに対し、本実施の形態では、文書データベース２７０に含まれる全発信者数と全文書数を用いて、発信者一人当たりの平均の文書数を求め、上記の式（２）にポワソン分布を想定した近似を当てはめることにより、処理時間の削減を行うことができる。
【００４６】
本実施の形態における関連キーワード抽出装置の構成は前述の第１の実施の形態における図３の構成と同様であるが、関連度算出部２４０の動作が異なる。以下では、第１の実施の形態と異なる関連度算出部２４０の動作のみについて説明し、その他の構成要素についてその説明を省略する。
【００４７】
以下、関連度算出部２４０の動作について説明する。
【００４８】
図９は、本発明の第２の実施の形態における関連度算出部の処理のフローチャートである。
【００４９】
ステップ２１０）  関連度算出部２４０は、処理を開始すると、まず、関連語句候補抽出部２３０の語句リストバッファ２３１から語句をひとつ取り出して、算出対象語句とする。以下、この算出対象語句をｗｋと表記する。このとき、語句リストバッファ２３１に含まれる語句の数がＮ語ある場合は、ｗｋのｋは１〜Ｎまでの値をとる。
【００５０】
ステップ２２０）  文書データベース２７０にアクセスし、ｗｋを含む文書の数と文書データベース２７０に含まれる全文書数を取得し、ｗｋがある文書に現れる確率ｐ（ｗｋ）を求める。ｗｋを含む文書の数をｄｆ（ｗｋ）とし、文書データベース２７０に含まれる全文書数をＮａｌｌとすると、ｗｋがある文書に現れる確率ｐ（ｗｋ）は以下の式（３）で得られる。
【００５１】
【数１１】
0004977004.tif 000008
ステップ２３０）  文書データベース２７０にアクセスし、発信者バッファ２３１に含まれる発信者のうちで、ｗｋを含む文書を発信してことのある発信者数と、文書データベース２７０に含まれる全発信者数を得る。また、発信者バッファ２３１に含まれる発信者数を求める。
【００５２】
以下、文書データベース２７０に含まれる全発信者数をＵａｌｌ、発信者バッファ２３１に含まれる発信者のうちでｗｋを含む文書を発信したことのある発信者数をＵｋ、発信者バッファ２３１に含まれる発信者数をＵｉとする。
【００５３】
ＮａｌｌとＵａｌｌから、発信者一人当たりの平均文書数が
Ｎａｖｒ＝Ｎａｌｌ／Ｕａｌｌ
として求められるので、これを用いて第１の実施の形態における式（２）をポワソン近似することにより、以下の式（４）でｗｋの関連度Ｒ（ｗｋ）が決まる。求められた関連度を関連度スコアバッファ２４２に格納する。
【００５４】
【数１２】
0004977004.tif 000009
ステップ２４０）  処理対象語句ｗｋとその関連度Ｒ（ｗｋ）の組を、関連キーワード出力部２５０の関連キーワードバッファ２５１に蓄積する。
【００５５】
ステップ２５０）  語句リストバッファ２４１の全ての語句についてステップ２１０からステップ２４０の処理を行ったかを確認し、未処理の語句が残っていた場合は、関連度スコアバッファ２４２を空にしてステップ２１０に戻り、処理を継続する。未処理の語句が残っていない場合には、関連度算出部２４０の処理を終了する。
【００５６】
なお、上記の第１・第２の実施の形態における図３に示す関連キーワード抽出装置の構成要素の動作をプログラムとして構築し、関連キーワード抽出装置として利用するコンピュータにインストールして実行させる、または、ネットワークを介して流通させることも可能である。
【００５７】
構築されたプログラムを、ハードディスクや、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、コンピュータにインストールする、または、配布することが可能である。
【００５８】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００５９】
本発明は、検索技術、特に、インターネット上の文書からキーワードを抽出する技術に適用可能である。
【図面の簡単な説明】
【００６０】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の第１の実施の形態における関連キーワード抽出装置の構成図である。
【図４】本発明の第１の実施の形態における文書データベースに蓄積される情報の例である。
【図５】本発明の第１の実施の形態における発信者バッファに蓄積される情報の例である。
【図６】本発明の第１の実施の形態における語句リストバッファに蓄積される情報の例である。
【図７】本発明の第１の実施の形態における関連キーワードバッファに蓄積される情報の例である。
【図８】本発明の第１の実施の形態における関連度算出部の処理のフローチャートである。
【図９】本発明の第２の実施の形態における関連度算出部の処理のフローチャートである。
【符号の説明】
【００６１】
２１０  キーワード入力装置
２２０  関連発信者抽出手段、関連発信者抽出部
２３０  関連語句候補抽出手段、関連語句候補抽出部
２３１  発信者バッファ
２４０  関連度算出手段、関連度算出部
２４１  語句リストバッファ
２４２  関連度スコアバッファ
２５０  関連キーワード抽出手段、関連キーワード出力部
２５１  関連キーワードバッファ
２６０  関連キーワード表示装置
２７０  文書データベース
【図１】
0004977004.tif 000014
【図２】
0004977004.tif 000015
【図３】
0004977004.tif 000016
【図４】
0004977004.tif 000017
【図５】
0004977004.tif 000018
【図６】
0004977004.tif 000019
【図７】
0004977004.tif 000020
【図８】
0004977004.tif 000021
【図９】
0004977004.tif 000022