(57)【特許請求の範囲】
【請求項１】
文書群に対する処理を行なう文書群処理装置であって、
前記文書群の各文書を単語に分割する単語分割手段と、
前記単語分割手段によって前記文書群の各文書から分割された複数の単語それぞれに対して、各単語が出現した文書における頻度に基づいて決定される重要度を付与する重要度付与手段と、
前記単語分割手段によって前記文書群の各文書から分割された複数の単語からなる単語群の中で、上位階層の単語として選出された上位語との同時共起度の高低に応じて値が増減する指標を、当該上位語以外の単語群それぞれに対して算出する指標算出手段と、
前記重要度付与手段によって付与された重要度が第１の閾値以下であり、前記指標算出手段によって算出された指標が第２の閾値以上である単語を、前記上位語に対する下位階層の単語である下位語に決定する下位語決定手段と、
前記指標算出手段による指標算出処理および前記下位語決定出手段による下位語決定処理を所定の階層に渡って繰り返して実行させることで、上位語に対する下位語が複数の階層に渡って対応付けられた階層情報を生成するように制御する階層情報生成制御手段と、を備え、
前記指標算出手段は、前記文書群のうち前記上位語の出現しない文書群の中で単語の出現する文書数の比率を１から減算した値と、前記文書群のうち前記上位語の出現する文書群の中で当該単語の出現する文書数の比率とを乗算することで、前記指標を算出する
ことを特徴とする文書群処理装置。
【請求項２】
前記指標算出手段は、前記文書群を構成する文書間の類似度に基づいて、当該文書群を代表する文書群として決定された文書群に出現する単語を、第一階層における上位語として指標算出処理を行なうことを特徴とする請求項１に記載の文書群処理装置。
【請求項３】
前記指標算出手段は、前記重要度付与手段によって各単語に付与された重要度をさらに用いて、前記指標を算出することを特徴とする請求項１または２に記載の文書群処理装置。
【請求項４】
前記指標算出手段は、前記重要度付与手段によって各単語に付与された重要度に基づく順位により選出された単語を、第一階層における上位語として指標算出処理を行なうことを特徴とする請求項１〜３のいずれか一つに記載の文書群処理装置。
【請求項５】
前記文書群は、同一ユーザが所定の期間に渡って時系列に沿ってウェブ上で閲覧したウェブページに含まれる複数の文書であることを特徴とする請求項１〜４のいずれか一つに記載の文書群処理装置。
【請求項６】
前記文書群は、同一ウェブサーバにおいて所定の期間に渡って時系列に沿って閲覧されたウェブページに含まれる複数の文書であることを特徴とする請求項１〜４のいずれか一つに記載の文書群処理装置。
【請求項７】
前記文書群は、時系列の情報を有さない複数の文書であることを特徴とする請求項１〜４のいずれか一つに記載の文書群処理装置。
【請求項８】
前記文書群は、２つの異なる文書群で共通する文書群、および／または、２つの異なる文書群で一方の文書群においてのみ存在する文書群であることを特徴とする請求項１〜４のいずれか一つに記載の文書群処理装置。
【請求項９】
文書群に対する処理を行う文書群処理装置による文書群処理方法であって、
前記文書群処理装置が有する単語分割手段が、前記文書群の各文書を単語に分割する単語分割ステップと、
前記文書群処理装置が有する重要度付与手段が、前記単語分割ステップによって前記文書群の各文書から分割された複数の単語それぞれに対して、各単語が出現した文書における頻度に基づいて決定される重要度を付与する重要度付与ステップと、
前記文書群処理装置が有する指標算出手段が、前記単語分割ステップによって前記文書群の各文書から分割された複数の単語からなる単語群の中で、上位階層の単語として選出された上位語との同時共起度の高低に応じて値が増減する指標を、当該上位語以外の単語群それぞれに対して算出する指標算出ステップと、
前記文書群処理装置が有する下位語決定手段が、前記重要度付与ステップによって付与された重要度が第１の閾値以下であり、前記指標算出ステップによって算出された指標が第２の閾値以上である単語を、前記上位語に対する下位階層の単語である下位語に決定する下位語決定ステップと、
前記文書群処理装置が有する階層情報生成制御手段が、前記指標算出ステップによる指標算出処理および前記下位語決定出ステップによる下位語決定処理を所定の階層に渡って繰り返して実行させることで、上位語に対する下位語が複数の階層に渡って対応付けられた階層情報を生成するように制御する階層情報生成制御ステップと、を含み、
前記指標算出ステップは、前記文書群のうち前記上位語の出現しない文書群の中で単語の出現する文書数の比率を１から減算した値と、前記文書群のうち前記上位語の出現する文書群の中で当該単語の出現する文書数の比率とを乗算することで、前記指標を算出する
ことを特徴とする文書群処理方法。
【請求項１０】
文書群に対する処理を行なう文書群処理方法をコンピュータに実行させる文書群処理プログラムであって、
前記文書群の各文書を単語に分割する単語分割手順と、
前記単語分割手順によって前記文書群の各文書から分割された複数の単語それぞれに対して、各単語が出現した文書における頻度に基づいて決定される重要度を付与する重要度付与手順と、
前記単語分割手順によって前記文書群の各文書から分割された複数の単語からなる単語群の中で、上位階層の単語として選出された上位語との同時共起度の高低に応じて値が増減する指標を、当該上位語以外の単語群それぞれに対して算出する指標算出手順と、
前記重要度付与手順によって付与された重要度が第１の閾値以下であり、前記指標算出手順によって算出された指標が第２の閾値以上である単語を、前記上位語に対する下位階層の単語である下位語に決定する下位語決定手順と、
前記指標算出手順による指標算出処理および前記下位語決定出手順による下位語決定処理を所定の階層に渡って繰り返して実行させることで、上位語に対する下位語が複数の階層に渡って対応付けられた階層情報を生成するように制御する階層情報生成制御手順と、をコンピュータに実行させ、
前記指標算出手順は、前記文書群のうち前記上位語の出現しない文書群の中で単語の出現する文書数の比率を１から減算した値と、前記文書群のうち前記上位語の出現する文書群の中で当該単語の出現する文書数の比率とを乗算することで、前記指標を算出する
ことを特徴とする文書群処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、文書群処理装置、文書群処理方法および文書群処理プログラムに関する。
【背景技術】
【０００２】
近年、インターネットの普及にともない、ウェブ上で提供される文書の情報量は、爆発的な増加傾向にある。このため、文書群を効率的に処理するために、文書群からキーワードとなる単語を抽出して、当該文書群に付与する手法の開発が求められている。かかる手法を用いることで、例えば、ユーザがウェブ上で閲覧した文書群に付与されたキーワードから、ユーザの行動目的を推定することが可能となる。
【０００３】
ここで、キーワード抽出の手法は、機械学習を要する手法と機械学習を必要としない手法とに大別される。機械学習を要する手法は、例えば、隠れマルコフモデルなどの遷移モデルを利用して、入力された文書群を代表する重要なキーワードを機械的に自動抽出する手法であり、遷移モデルや学習元となるコーパスを変化させることで異なるコンセプトのキーワード抽出を行うことができるといった利点がある。しかし、その反面、機械学習を要する手法は、コーパスの選出がキーワードの抽出精度に大きな影響を与えるため、入力される文書群の性質が変化した際の対応が困難であり、また、事前に機械学習を行なうための計算コストが大きいといったことが、欠点として挙げられる。
【０００４】
一方、機械学習を必要としない手法は、形態素解析、重要度付与、キーワード選出という三つのフェイズを経て処理される手法である。まず、一繋がりの文を単語ごとに分割する形態素解析により、入力された文書群の各文書は、単語に分割される。そして、重要度付与により、形態素解析によって分割された各単語には、重要度を表す数値指標が付与される。具体的には、重要度付与では、ＴＦ（Term Frequency）法、ＩＤＦ（Inversed Document Frequency）法、ＴＦ・ＩＤＦ法、ＢＭ２５法、ｃ―ｖａｌｕｅ法（例えば、非特許文献１参照）および連接コスト法（例えば、非特許文献２参照）などの方法により、各文書にて分割された単語それぞれに対して重要度が付与される。
【０００５】
ここで、ＩＤＦ法、ＴＦ・ＩＤＦ法、ＢＭ２５法、ｃ―ｖａｌｕｅ法および連接コスト法では、各文書で出現する同一の単語に対して同一の重要度が付与されるため、キーワード選出では、付与された重要度の高い順に単語を並べたランキングにより、キーワードが選出される。
【０００６】
一方、ＴＦ法では、各文書で出現する同一の単語に対して異なる重要度が付与されるため、キーワード選出では、同一の単語に対して付与された重要度の総和、平均値、またはシェア値を算出し、算出した値の高い順に単語を並べたランキングにより、キーワードが選出される。
【０００７】
また、単一の文書にて頻出する主要語と、当該文書を構成する全単語との共起頻度を算出し、共起頻度が偏っている単語を当該文書における特徴的なキーワードとして抽出する手法も知られている（例えば、非特許文献３参照）。また、共起頻度を用いた手法を文書群に適用して、共起頻度が偏っている単語を文書群における特徴的なキーワードとして抽出する手法も知られている。また、キーワードの伝播性という尺度を加味したＩＤＦ値を算出することで、キーワード選出を行なう手法も知られている。
【０００８】
このように、機械学習を必要としない手法では、入力される文書群の性質が変化した場合でも、三つのフェイズにおける処理を変えることなくキーワードを抽出できるという利点を有する。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Frantsi, K. and Ananiadou, S. “Extracting Nested Collocations.”,COLING 96, pp.41-46, 1996.
【非特許文献２】湯本，森，中川，第145回情報処理学会自然言語処理研究会資料, 2001.
【非特許文献３】松尾，石塚，語の共起の統計情報に基づく文書からのキーワード抽出アルゴリズム，人工知能学会論文誌，Vol.17，pp.213-227，2002.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ところで、上記した従来の技術は、必ずしも文書群を代表する単語を抽出することができない場合があるという課題があった。
【００１１】
例えば、春物のファッションで、特に、デニムジャケットに興味を持ち購入を検討したユーザの閲覧履歴に対し、上記した従来の技術によりキーワードを抽出したとする。かかる場合、例えば、上記した重要度を用いることで、重要度によるランキングで上位に位置する「春物」や「ファッション」といった主要な単語は、容易に抽出することができるが、重要度によるランキングで下位に位置する「ジャケット」や、「ジャケット」よりさらに下位に位置する「デニムジャケット」という単語は、出現履歴数が少ないため抽出されにくい。しかし、文書群の詳細な内容を把握するためには、「ジャケット」や「デニムジャケット」といったように重要度の観点から下位に位置する下位語のほうが、上位に位置する上位語より重要である。
【００１２】
すなわち、文書群の詳細な内容を把握するためには、文書群を全体的に見ると重要度が低いが、文書群を局所的に見ると重要度が高い単語となる下位語を抽出しなくてはならない。しかし、上記した従来の技術により下位語の抽出を試みると、文書群を真に代表する下位語とともに、例えば、購入手続きのウェブページの閲覧履歴などに出現する「送料」や「送料無料」などの単語が、ノイズとして混入してしまう。
【００１３】
そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、文書群を代表する単語を抽出することが可能となる文書群処理装置、文書群処理方法および文書群処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上述した課題を解決し、目的を達成するために、この装置は、文書群に対する処理を行なう文書群処理装置であって、前記文書群の各文書を単語に分割する単語分割手段と、前記単語分割手段によって前記文書群の各文書から分割された複数の単語からなる単語群の中で、上位階層の単語として選出された上位語との同時共起度の高低に応じて値が増減する指標を、当該上位語以外の単語群それぞれに対して算出する指標算出手段と、前記指標算出手段によって前記上位語以外の単語群それぞれに対して算出された指標に基づく順位を用いて、前記上位語に対する下位階層の単語である下位語を決定する下位語決定手段と、前記指標算出手段による指標算出処理および前記下位語決定出手段による下位語決定処理を所定の階層に渡って繰り返して実行させることで、上位語に対する下位語が複数の階層に渡って対応付けられた階層情報を生成するように制御する階層情報生成制御手段と、を備えたことを要件とする。
【００１５】
また、この方法は、文書群に対する処理を行なう文書群処理方法であって、前記文書群の各文書を単語に分割する単語分割ステップと、前記単語分割ステップによって前記文書群の各文書から分割された複数の単語からなる単語群の中で、上位階層の単語として選出された上位語との同時共起度の高低に応じて値が増減する指標を、当該上位語以外の単語群それぞれに対して算出する指標算出ステップと、前記指標算出ステップによって前記上位語以外の単語群それぞれに対して算出された指標に基づく順位を用いて、前記上位語に対する下位階層の単語である下位語を決定する下位語決定ステップと、前記指標算出ステップによる指標算出処理および前記下位語決定出ステップによる下位語決定処理を所定の階層に渡って繰り返して実行させることで、上位語に対する下位語が複数の階層に渡って対応付けられた階層情報を生成するように制御する階層情報生成制御ステップと、を含んだことを要件とする。
【００１６】
また、このプログラムは、文書群に対する処理を行なう文書群処理方法をコンピュータに実行させる文書群処理プログラムであって、前記文書群の各文書を単語に分割する単語分割手順と、前記単語分割手順によって前記文書群の各文書から分割された複数の単語からなる単語群の中で、上位階層の単語として選出された上位語との同時共起度の高低に応じて値が増減する指標を、当該上位語以外の単語群それぞれに対して算出する指標算出手順と、前記指標算出手順によって前記上位語以外の単語群それぞれに対して算出された指標に基づく順位を用いて、前記上位語に対する下位階層の単語である下位語を決定する下位語決定手順と、前記指標算出手順による指標算出処理および前記下位語決定出手順による下位語決定処理を所定の階層に渡って繰り返して実行させることで、上位語に対する下位語が複数の階層に渡って対応付けられた階層情報を生成するように制御する階層情報生成制御手順と、をコンピュータに実行させることを要件とする。
【発明の効果】
【００１７】
開示の装置、方法およびプログラムによれば、文書群を代表する単語を抽出することが可能となる。
【図面の簡単な説明】
【００１８】
【図１】図１は、実施例１における文書群処理装置が組み込まれる文書群処理システムの構成を説明するための図である。
【図２】図２は、閲覧履歴データを説明するための図である。
【図３】図３は、実施例１における文書群処理装置が実行する処理の概念を説明するための図である。
【図４】図４は、実施例１における文書群処理装置の構成を説明するための図である。
【図５】図５は、前処理部を説明するための図である。
【図６】図６は、重要度付与部を説明するための図である。
【図７】図７は、キーワード選出部の概要を説明するための図である。
【図８】図８は、キーワード選出部を説明するための図（１）である。
【図９】図９は、キーワード選出部を説明するための図（２）である。
【図１０】図１０は、キーワード選出部を説明するための図（３）である。
【図１１】図１１は、キーワード選出部を説明するための図（４）である。
【図１２】図１２は、実施例１における文書群処理装置の処理を説明するためのフローチャートである。
【図１３】図１３は、文書群処理システムの変形例を説明するための図（１）である。
【図１４】図１４は、文書群処理システムの変形例を説明するための図（２）である。
【図１５】図１５は、文書群処理システムの変形例を説明するための図（３）である。
【図１６】図１６は、実施例２の文書群処理装置の処理対象となる文書群を説明するための図である。
【図１７】図１７は、実施例３の文書群処理装置の処理対象となる文書群を説明するための図である。
【図１８】図１８は、実施例４の文書群処理装置の処理対象となる文書群を説明するための図である。
【発明を実施するための形態】
【００１９】
以下に添付図面を参照して、本発明に係る文書群処理装置、文書群処理方法および文書群処理プログラムの実施例を説明する。
【実施例１】
【００２０】
まず、実施例１における文書群処理装置が組み込まれる文書群処理システムについて、図１を参照して説明する。図１は、実施例１における文書群処理装置が組み込まれる文書群処理システムの構成を説明するための図である。
【００２１】
図１に示すように、実施例１における文書群処理システムは、ユーザＰＣ（Personal Computer）１と、ウェブサーバ群２と、外部情報処理装置４とを有し、ユーザＰＣ１、ウェブサーバ群２および外部情報処理装置４は、例えば、インターネットなどの通信網３を介してそれぞれ接続されている。
【００２２】
ユーザＰＣ１は、特定のユーザが利用するＰＣであり、通信網３を介してウェブサーバ群２に対しウェブページの閲覧要求を送信したり、閲覧要求に応じてウェブサーバ群２が送信したデータに基づくウェブページを、ユーザＰＣ１のモニタに表示させたりするためのソフトウェア（ブラウザ）が組み込まれている。
【００２３】
さらに、ユーザＰＣ１は、文書群処理装置１０、履歴取得装置２０、処理開始トリガー３０および内部情報処理装置４０を有する。
【００２４】
履歴取得装置２０は、ブラウザを起動させて閲覧要求を行なった結果、ユーザが閲覧したウェブページの閲覧履歴データを時系列に沿って取得する。履歴取得装置２０が取得する閲覧履歴データの具体例について、図２を用いて説明する。図２は、閲覧履歴データを説明するための図である。
【００２５】
例えば、履歴取得装置２０により取得される閲覧履歴データは、図２に示すように、処理番号、時間、タイトル、ＵＲＬおよびテキストを時系列で並べて構成されたデータである。ここで、閲覧履歴データとは、通信網３を利用して、ユーザが閲覧したウェプページの閲覧行動の記録を示す履歴データを指し、処理番号、時間、タイトルおよびＵＲＬおよびテキストなどで構成されたデータを想定している。
【００２６】
処理番号は、ユーザＰＣ１を利用するユーザが行なったウェブページの閲覧順に割り振られる一意な自然数であり、例えば、図２に示すように、「１」から順番に割り振られる。時間は、ユーザがユーザＰＣ１を操作してウェプページを閲覧した瞬間の時刻情報であり、例えば、図２に示すように、西暦、月、日および時刻（時・分・秒）で構成される。例えば、図２の「時間：２００７/１１/１０  １２：２６：５３」は、「西暦２００７年の１１月１０日の１２時２６分５３秒」に「処理番号：１」の閲覧がユーザにより行なわれたことを示している。
【００２７】
また、タイトルは、ＨＴＭＬ（Hyper  Text  Markup  Language）ソース上で、＜title＞と＜/title＞で囲まれる文字列であり、一般的に、ユーザＰＣ１で起動されたブラウザの上部に表示される。例えば、図２に示す「ａ」は、「処理番号：１」にてユーザが閲覧したウェブページのタイトルを示している。また、ＵＲＬ（Uniform  Resource  Locator）は、通信網３と接続されるウェブサーバ群２にて、ユーザがアクセスしたウェブサーバ上の情報資源（ウェブページ）の場所を示す文字列であり、一般的に、ユーザＰＣ１で起動されたブラウザ上に表示されるアドレスのことである。例えば、図２に示す「ｈｔｔｐ：／／a a」は、「処理番号：１」にてユーザが閲覧したウェブページのＵＲＬを示している。また、テキストは、ＵＲＬに対応するウェブページの含まれるテキスト（文書）のことであり、図２に示す閲覧履歴データにおいて、「テキスト」に格納されたデータの集合（文書群）が、後述する文書群処理装置１０による処理対象となる。
【００２８】
図１に戻って、処理開始トリガー３０は、例えば、所定の時間が経過したことを検知したブラウザなどのソフトウェアから発生される信号であり、履歴取得装置２０は、処理開始トリガー３０を受信したことを契機として、取得した閲覧履歴データを文書群処理装置１０に伝達する。なお、処理開始トリガーは、ユーザＰＣ１を利用するユーザや、後述する文書群処理装置１０の管理者や、他のユーザの能動的な動作によって発生される場合であってもよい。
【００２９】
内部情報処理装置４０は、後述する文書群処理装置１０による処理結果を用いて情報処理を行ない、その結果をユーザＰＣ１のモニタに表示したり、通信網３を介して接続される外部情報処理装置４に送信したりする。なお、内部情報処理装置４０および外部情報処理装置４は、同様の処理を行なう装置であり、図１では、便宜上、後述する文書群処理装置１０に直接的に接続されている装置を「内部情報処理装置４０」とし、後述する文書群処理装置１０に通信網３を介して間接的に接続されている装置を「外部情報処理装置４」として説明する。また、内部情報処理装置４０および外部情報処理装置４が実行する情報処理については、文書群処理装置１０の処理を説明したのちに詳述する。
【００３０】
ここで、実施例１における文書群処理装置１０は、処理開始トリガー３０を受信したことを契機として、閲覧履歴データに含まれる文書群に対する処理を実行する。具体的には、文書群処理装置１０は、閲覧履歴データに含まれる文書群を代表する単語を抽出する。
【００３１】
ところで、文書群を代表する単語（以下、キーワードと記載する）を決定する場合、従来の手法では、例えば、文書群の各文書を形態素解析により単語に分割して、分割した各単語に重要度を付与することで、単語をランク付けすることが行なわれている。
【００３２】
重要度ランク上位の単語は、図３に示すように、文書群全体の背景情報と関連性が高い単語となる。例えば、春物のファッションで、特に、デニムジャケットに興味を持ち購入を検討したユーザの閲覧履歴データに対して処理を行なった場合、重要度によるランキングで上位に位置する単語は、「春物」や「ファッション」といった「背景情報と関連性が強い」単語となる。なお、図３は、実施例１における文書群処理装置が実行する処理の概念を説明するための図である。
【００３３】
しかし、ユーザが閲覧した文書群を真に代表する単語は、重要度ランク下位にある「ジャケット」や「デニムジャケット」といった単語であり、かかる単語は、図３に示すように、ユーザの行動履歴における文書群を要約するうえで有用となる。
【００３４】
ただし、重要度ランク下位の単語には、図３に示すように、「文書群全体の背景情報との関連性が弱い単語（ノイズ）と強い単語とが混在」している。しかし、従来の手法では、重要度に基づくランキングによりキーワードを抽出しているため、重要度を指標とする限り、重要度ランク下位の単語に含まれている「背景情報と関連性が強い」単語と、ノイズとを分別することは、困難である。
【００３５】
そこで、実施例１における文書群処理装置１０は、重要度ランク下位の単語に混在する「背景情報と関連性が強い単語」と「ノイズ」とを分別するために、背景情報と関連性が強い単語を、同時共起度に基づいて階層的に連続して決定していく処理を実行することで、重要度ランク下位に含まれる「背景情報と関連性が強い単語」のみを抽出する。
【００３６】
かかる処理を実行するため、実施例１における文書群処理装置１０は、図４に示すように、前処理部１１と、重要度付与部１２と、キーワード選出部１３とを有する。図４は、実施例１における文書群処理装置１０の構成を説明するための図である。
【００３７】
前処理部１１は、キーワード選出を行なうための前処理を実行し、具体的には、履歴取得装置２０が取得した閲覧履歴データに含まれる文書群の各文書を単語に分割する。以下、前処理部１１が実行する処理の具体的な一例について、図５を用いて説明する。図５は、前処理部を説明するための図である。
【００３８】
図５に示すように、前処理部１１は、入力された文書群が日本語の場合ならば形態素解析により、または入力された文書群が英語の場合ならばＴａｇｇｅｒ解析により各文書を単語に分割する。
【００３９】
さらに、前処理部１１は、「形態素解析、またはＴａｇｇｅｒ解析」の他に、図５に示すように、「スクレイピング」、「ＮＧワード除去」、「特定素性の除去」および「複合語処理」を行なう。
【００４０】
「スクレイピング」は、文書群全体において共通する部分を除去する処理であり、例えば、ウェブページにおいて本文部分以外に共通して混在するフレーム部分などを除去することで、テキストデータから本文部分を特定する。
【００４１】
「ＮＧワード除去」は、例えば、ウェブページに混在する「ページ数」などのように、キーワードとして不適切な単語を除去するための処理である。なお、ＮＧワードの種類は、文書群処理装置１０の管理者などにより設定される。
【００４２】
「特定素性の除去」は、「形態素解析、またはＴａｇｇｅｒ解析」により分割された単語から、名詞以外の単語など、文書群処理装置１０の管理者などにより設定された特定素性の単語を除去する。
【００４３】
「複合語処理」は、「形態素解析、またはＴａｇｇｅｒ解析」により分割された単語に対して、例えば、文書群処理装置１０の管理者などにより設定されたルールに基づく処理や「ｎ−ｇｒａｍ」法などの処理を行なうことで、連続的な複数の単語を結合して複合語を形成する。
【００４４】
なお、前処理部１１は、「特定素性の除去」および「複合語処理」を、「形態素解析、またはＴａｇｇｅｒ解析」ののちに実行する。また、前処理部１１は、文書群処理装置１０の管理者などにより設定された任意の順番にて、「形態素解析、またはＴａｇｇｅｒ解析」、「スクレイピング」および「ＮＧワード除去」の処理を実行する。
【００４５】
このようにして、前処理部１１に入力された文書群の各文書は、単語単位（図５の「ｗｏｒｄ１、ｗｏｒｄ２、ｗｏｒｄ３、・・・」参照）で分割され、さらに、同一表記の異義語を特定するための素性（最低でも品詞情報）が付与された状態となる。
【００４６】
図４に戻って、重要度付与部１２は、前処理部１１によって文書群の各文書から分割された複数の単語（単語群）それぞれに対して、各単語が出現した文書における重要性を示す重要度を付与する。
【００４７】
ここで、重要度付与部１２による重要度の算出法は、文書群処理装置１０の管理者などにより設定された手法に基づいて実行される。例えば、重要度付与部１２は、図６に示すように、ＴＦ法、ＩＤＦ法、連結コスト法、ＢＭ２５法などの公知技術やその組み合わせにより、重要度を各単語に算出して付与する。図６は、重要度付与部を説明するための図である。
【００４８】
このようにして、重要度付与部１２に入力された文書群の各文書は、複数の単語と重要度とがセットで表現された状態となる。例えば、図６に示すように、重要度付与部１２は、「ｗｏｒｄ１」および「重要度：ｍ」と、「ｗｏｒｄ２」および「重要度：ｎ」と、「ｗｏｒｄ３」および「重要度：ｏ」とがセットとなった情報を出力する。
【００４９】
図４に戻って、キーワード選出部１３は、重要度付与部１２が出力した情報に基づいて、文書群を代表するキーワードの選出処理を実行するために、スコア算出部１３ａと、階層別キーワード決定部１３ｂと、階層情報生成制御部１３ｃとを有する。ここで、キーワード選出部１３は、図７に示すように、「キーワード樹形図作成アルゴリズム」と「ランキングアルゴリズム」とに基づきキーワードを選出する。そして、キーワード選出部１３は、階層ごとに決定したキーワードが樹形図として表された「キーワード樹形図」や、階層ごとに決定したキーワードが表形式で表された「階層キーワードテーブル」を階層情報として出力する。なお、図７は、キーワード選出部の概要を説明するための図である。
【００５０】
スコア算出部１３ａは、「ランキングアルゴリズム」により、上位階層の単語として選出された上位語との同時共起度の高低に応じて値が増減する指標（ランキングスコア）を、当該上位語以外の単語群それぞれに対して算出する。
【００５１】
階層別キーワード決定部１３ｂは、スコア算出部１３ａによって上位語以外の単語群それぞれに対して算出されたランキングスコアに基づく順位を用いた「キーワード樹形図作成アルゴリズム」により、上位語に対する下位階層の単語である下位語を決定する。
【００５２】
階層情報生成制御部１３ｃは、スコア算出部１３ａによるランキングスコア算出処理および階層別キーワード決定部１３ｂによる下位語決定処理を所定の階層に渡って繰り返して実行させることで、上位語に対する下位語が複数の階層に渡って対応付けられた階層情報を生成するように制御する。
【００５３】
以下では、スコア算出部１３ａと、階層別キーワード決定部１３ｂと、階層情報生成制御部１３ｃとの処理により階層情報が生成される過程の具体例を、図８〜図１１を用いて説明する。なお、図８〜１１は、キーワード選出部を説明するための図である。
【００５４】
まず、スコア算出部１３ａは、文書群処理装置１０の管理者などにより設定された情報に基づく階層情報生成制御部１３ｃの制御により、第二階層キーワード候補を抽出するためのランキングスコア算出処理を「第一階層キーワード選出あり」または「第一階層キーワード選出なし」のいずれかの方法で実行する。
【００５５】
スコア算出部１３ａは、階層情報生成制御部１３ｃから「第一階層キーワード選出あり」として設定されている旨を受信した場合、文書ごとの各単語に付与された重要度を用いて、第一階層キーワードを選出する。例えば、スコア算出部１３ａは、図８の（Ａ）に示すように、同一の単語に対して付与されている重要度の総和を算出し、算出した総和がトップの単語「ｗｏｒｄ４」を第一階層キーワードとして選出する。なお、スコア算出部１３ａは、重要度の平均値やシェア値を算出し、算出した値がトップの単語を第一階層キーワードとして選出してもよい。かかる処理により、スコア算出部１３ａは、処理対象となる文書群の背景情報となる単語として、「第一階層キーワード」を選出する。
【００５６】
一方、スコア算出部１３ａは、階層情報生成制御部１３ｃから「第一階層キーワード選出なし」として設定されている旨を受信した場合、図８の（Ｂ）に示すように、文書群を構成する文書間の類似度を算出する。例えば、スコア算出部１３ａは、ｋ‐ｍｅａｎｓ法、ｘ‐ｍｅａｎｓ法、ウォード法、最短距離法および二段階クラスタリングなどの手法により、類似度を算出する。そして、スコア算出部１３ａは、算出した類似度が一定の閾値以上となる文書群を、図８の（Ｂ）に示すように、処理対象となる文書群の背景情報を代表する代表文書群として抽出し、抽出した代表文書群に出現している単語を「仮想第一階層キーワード」として選出する。
【００５７】
そして、重要度に基づく「第一階層キーワード」の選出、または文書間の類似度に基づく「仮想第一階層キーワード」の選出を行なったスコア算出部１３ａは、「ランキングアルゴリズム」により、選出した上位階層キーワードである上位語「Ａ」との同時共起度の高低に応じて値が増減するランキングスコアを、単語「Ａ」以外の単語「ａ」それぞれに対して算出する。例えば、スコア算出部１３ａは、図９の（Ａ）に示す「ランキングスコア算出式」として設定された「ｎａ／ｎ×（１−ｍａ／ｍ）」を用いて単語「Ａ」に対する単語「ａ」のランキングスコアを算出する。
【００５８】
ここで、図９の（Ａ）に示す「ランキングスコア算出式」において、「ｎ」は、「上位語Ａの出現する文書数」であり、図９の（Ａ）のベン図の（１）と（２）とに分類される文書の数である。また、「ｎａ」は、「上位語Ａの出現する文書の中で単語ａの出現する文書数」であり、図９の（Ａ）のベン図の（１）に分類される文書の数である。また、「ｍ」は、「上位語Ａの出現しない文書数」であり、図９の（Ａ）のベン図の（３）と（４）とに分類される文書の数である。また、「ｍａ」は、「上位語Ａの出現しない文書の中で単語ａの出現する文書数」であり、図９の（Ａ）のベン図の（３）に分類される文書の数である。
【００５９】
かかる処理により、スコア算出部１３ａは、例えば、図９の（Ｂ）に示すように、「第一階層キーワード：ｗｏｒｄ４」と文書における出現パターンが異なる「ｗｏｒｄ１〜３」に対しては、「ランキングスコア」を「０」と算出する。また、スコア算出部１３ａは、例えば、図９の（Ｂ）に示すように、「ｗｏｒｄ４」と文書における出現パターンが類似している「ｗｏｒｄ５、６、７」に対しては、「ランキングスコア」を「０．７、０．６、０．５」とそれぞれ算出する。なお、「ｗｏｒｄ４」の「ランキングスコア」は、図９の（Ｂ）に示すように、「１」となる。
【００６０】
ここで、「ランキングスコア」は、図９の（Ａ）で説明したように、「単語が出現する」および「単語が出現しない」の二値化された値により算出される場合に限定されるものではない。例えば、「ランキングスコア」は、重要度の偏差を考慮するために、『「上位語Ａ」の出現する文書における単語「ａ」の重要度』を『同一文書における「上位語Ａ」の重要度』で割った値の相乗平均として算出される場合であってもよい。また、出現文書数が多いキーワードを優先して抽出するために、図９の（Ａ）の数式により算出された値に出現文書数を掛け合わせた値を「ランキングスコア」として算出する場合であってもよい。あるいは、図９の（Ａ）の数式において、「ｎａ／ｎ」や「（１−ｍａ／ｍ）」が「零」となるのを防ぐために、「（１＋ｎａ／ｎ）×（２−ｍａ／ｍ）」により「ランキングスコア」を算出する場合であってもよい。
【００６１】
階層別キーワード決定部１３ｂは、スコア算出部１３ａによりランキングスコアが算出されると、上位語の直下の下位階層キーワードの候補を決定する。例えば、階層別キーワード決定部１３ｂは、図１０の（Ａ）に示すように、「第一階層キーワード：ｗｏｒｄ４」または「仮想第一階層キーワード」に対して算出されたランキングスコアが閾値（例えば、０．５）以上の単語を第二階層キーワード候補として抽出する。これにより、図１０の（Ａ）に示すように、階層別キーワード決定部１３ｂは、「ｗｏｒｄ５、６、７」を第二階層キーワード候補として抽出する。なお、階層別キーワード決定部１３ｂは、第二階層キーワード候補が抽出されなかった場合、階層情報生成制御部１３ｃの制御により、「第一階層キーワード」または「仮想第一階層キーワード」として選出した単語の次点にランキングされた単語を「第一階層キーワード」または「仮想第一階層キーワード」として第二階層キーワード候補の抽出を行なう。あるいは、階層別キーワード決定部１３ｂは、第二階層キーワード候補が抽出されなかった場合、階層情報生成制御部１３ｃの制御により、閾値から所定の値（例えば、０．０２）差し引いた値を新たな閾値として用いることで、第二階層キーワード候補が抽出を行なう。ここで、閾値の低下処理は、所定の下限値（例えば、０．４）となった時点で終了とし、この時点で第二階層キーワード候補が抽出されなかった場合、キーワード選出部１３の処理は、階層情報生成制御部１３ｃの制御により、終了する。
【００６２】
下位階層キーワード候補が抽出された場合、階層別キーワード決定部１３ｂは、下位階層キーワード候補から下位階層キーワードを決定する。例えば、階層別キーワード決定部１３ｂは、文書群処理装置１０の管理者などにより設定された情報に基づく階層情報生成制御部１３ｃの制御により、図１０の（Ｂ）に示すように、「ランキングスコア」、「重要度」、「出現履歴数」、「子キーワードの数」または「複合型」に基づく方法で、下位階層キーワードを決定する。
【００６３】
例えば、階層別キーワード決定部１３ｂは、「ランキングスコア」に基づく方法として、第二階層キーワード候補のうちランキングスコアがトップの「ｗｏｒｄ５」を第二階層キーワードとして決定する。また、階層別キーワード決定部１３ｂは、「ランキングスコア」に基づく方法として第三階層以下の下位階層キーワードを決定する場合、下位階層キーワード候補のうち、前の階層にて算出されたランキングスコアがトップの下位階層キーワードとして決定する。
【００６４】
あるいは、階層別キーワード決定部１３ｂは、「重要度」に基づく方法として、第二階層キーワード候補のうち重要度の総和（または、平均値、シェア値）がトップの単語を第二階層キーワードとして決定する。なお、各単語に付与された重要度が、ＩＤＦ値やｃ−ｖａｌｕｅ値のように、文書群で共通して付与される値である場合、第二階層キーワード候補のうち重要度がトップの単語を第二階層キーワードとして決定する。
【００６５】
あるいは、階層別キーワード決定部１３ｂが「子キーワードの数」に基づく方法を行い場合、階層情報生成制御部１３ｃは、第二階層キーワード候補それぞれを上位語としてスコア算出部１３ａにランキングスコアを算出させる。そして、階層別キーワード決定部１３ｂは、ランキングスコアが閾値以上となる子キーワード（仮の第三階層キーワード候補）が最も多い第二階層キーワード候補を第二階層キーワードとして決定する。
【００６６】
あるいは、階層別キーワード決定部１３ｂは、「ランキングスコア」、「重要度」および「子キーワードの数」から選択した複数の方法を組み合わせた「複合型」に基づく方法で、下位階層キーワードを決定する。例えば、階層別キーワード決定部１３ｂは、「子キーワードの数」が一つ以上ある第二階層キーワード候補のうちランキングスコアが最も高い単語を第二階層キーワードとして決定する。
【００６７】
なお、階層別キーワード決定部１３ｂのキーワード決定処理は、第三階層では「重要度」、第四階層では「子キーワードの数」といったように、階層ごとに異なる方法により行なわれる場合であってもよい。
【００６８】
そして、階層情報生成制御部１３ｃは、スコア算出部１３ａおよび階層別キーワード決定部１３ｂによる協働処理を階層キーワード候補が抽出されなくなるまで繰り返して実行させる。これにより、階層情報生成制御部１３ｃは、例えば、第五階層キーワード候補が抽出されなかった時点で処理が終了した場合、図７や図１１の（Ａ）に示すように、第一階層から第四階層にそれぞれ一つのキーワードが決定された階層情報を生成させる。
【００６９】
なお、本実施例では、各階層に一つのキーワードが決定された階層情報が生成される場合について説明したが、本発明はこれに限定されるものではない。例えば、図１１の（Ｂ）に示すように、第三キーワード「ｗ０３」に対する第四階層キーワード「Ｗ０９」とともに、第四階層キーワード候補「Ｗ１０、Ｗ１１」を階層情報に含める場合であってもよい。さらに、図１１の（Ｂ）に示すように、第三階層キーワード候補「Ｗ０１およびＷ０２」の重要度が、第三階層キーワード「ｗ０３」の重要度より高いならば、「Ｗ０１およびＷ０２」および『「Ｗ０１およびＷ０２」の子キーワード』も階層情報に含める場合であってもよい。
【００７０】
あるいは、図１１の（Ｃ）に示すように、第二階層より以下の階層にて抽出されたキーワード候補をすべて階層情報に含める場合であってもよい。また、これらの階層情報は、図１１の（Ａ）〜（Ｃ）に示すように、「キーワード樹形図」である場合であっても、図１１の（Ｄ）に示すように、「階層キーワードテーブル」である場合であってもよい。なお、図１１の（Ｄ）は、図１１の（Ｃ）の「キーワード樹形図」を「階層キーワードテーブル」として表したデータである。
【００７１】
すなわち、階層情報は、予め設定された閾値以上となる階層別キーワード候補を階層別キーワードとして決定することで生成される場合であってもよい。
【００７２】
なお、キーワード選出部１３の処理対象となるデータは、上述した重要度付与部１２の処理において、重要度が一定閾値以下の単語のみや、各文書において重要度によるランキングが所定順位以上の単語のみである場合であってもよい。また、本実施例は、重要度付与部１２が上記したような類似度に基づく文書群のクラスタリング処理により分割された文書群それぞれに対して重要度付与処理を行ない、さらに、キーワード選出部１３が文書群それぞれに対してキーワード選出処理を実行する場合であってもよい。
【００７３】
図１に戻って、内部情報処理装置４０は、キーワード選出部１３から出力された階層情報をユーザＰＣ１のモニタに表示するとともに、階層情報を外部情報処理装置４に伝達する。外部情報処理装置４は、例えば、伝達された階層情報に含まれる階層キーワードと一致するキーワードがタグ付けされた行動ターゲティング広告（ＢＴＡ：Behavioral  Targeting  Advertise）、記事などを、内部情報処理装置４０を介してユーザＰＣ１に提供する。なお、外部情報処理装置４による処理は、内部情報処理装置４０にて行われる場合であってもよい。
【００７４】
続いて、図１２を用いて実施例１における文書群処理装置１０の処理の手順について説明する。図１２は、実施例１における文書群処理装置の処理を説明するためのフローチャートである。
【００７５】
図１２に示すように、実施例１における文書群処理装置１０は、処理開始トリガー３０を受け付けると（ステップＳ１０１肯定）、前処理部１１は、履歴取得装置２０が取得した処理対象となる文書群の各文書を単語群に分割する（ステップＳ１０２）。なお、前処理部１１は、単語群に分割するための「形態素解析、またはＴａｇｇｅｒ解析」の他に、「スクレイピング」、「ＮＧワード除去」、「特定素性の除去」および「複合語処理」を行なう。
【００７６】
そして、重要度付与部１２は、各単語の重要度を算出することで、単語群に重要度を付与し（ステップＳ１０３）、スコア算出部１３ａは、階層情報生成制御部１３ｃの制御にしたがって、第一階層キーワード、または代表文書群を抽出する（ステップＳ１０４）。なお、スコア算出部１３ａは、代表文書群に出現する単語を仮想第一階層キーワードとして選出する。
【００７７】
そののち、階層情報生成制御部１３ｃは、「ｎ＝２」と設定し（ステップＳ１０５）、スコア算出部１３ａは、第ｎ階層キーワード候補抽出用のランキングスコアを算出する（ステップＳ１０６）。例えば、スコア算出部１３ａは、図９の（Ａ）に示す計算式を用いて、上位階層の単語として選出された上位語との同時共起度の高低に応じて値が増減するランキングスコアを、当該上位語以外の単語群それぞれに対して算出する。
【００７８】
ここで、算出したランキングスコアに基づいて、第ｎ階層キーワード候補が抽出された場合（ステップＳ１０７否定）、階層別キーワード決定部１３ｂは、階層情報生成制御部１３ｃの制御に基づく方法で、第ｎ階層キーワードを決定する（ステップＳ１０８）。例えば、階層別キーワード決定部１３ｂは、「ランキングスコア」、「重要度」、「出現履歴数」、「子キーワードの数」または「複合型」に基づく方法で、第ｎ階層キーワードを決定する。
【００７９】
そして、階層情報生成制御部１３ｃは、「ｎ＝ｎ＋１」と設定し（ステップＳ１０９）、ステップＳ１０６に戻って、スコア算出部１３ａに第ｎ階層キーワード候補抽出用のランキングスコアを算出させる。
【００８０】
一方、算出したランキングスコアに基づいて、第ｎ階層キーワード候補が抽出された場合（ステップＳ１０７肯定）、階層情報生成制御部１３ｃは、第一階層から第ｎ階層までのキーワードを階層情報として内部情報処理装置４０に出力し（ステップＳ１１０）、処理を終了する。例えば、ラインキングスコアが閾値以上の単語が存在しなかった場合、階層情報生成制御部１３ｃは、第一階層から第ｎ階層までのキーワードが含まれる階層情報を内部情報処理装置４０に出力する。
【００８１】
上述してきたように、実施例１では、前処理部１１は、入力された文書群の各文書を単語に分割し、重要度付与部１２は、単語に対して重要度を付与する。そして、スコア算出部１３ａは、上位階層の単語として選出された上位語との同時共起度の高低に応じて値が増減する指標（ランキングスコア）を、当該上位語以外の単語群それぞれに対して算出する。また、階層別キーワード決定部１３ｂは、スコア算出部１３ａによって上位語以外の単語群それぞれに対して算出されたランキングスコアに基づく順位を用いた「キーワード樹形図作成アルゴリズム」により、上位語に対する下位階層の単語である下位語を決定する。
【００８２】
そして、階層情報生成制御部１３ｃは、スコア算出部１３ａによるランキングスコア算出処理および階層別キーワード決定部１３ｂによる下位語決定処理を所定の階層に渡って繰り返して実行させることで、上位語に対する下位語が複数の階層に渡って対応付けられた階層情報を生成するように制御する。
【００８３】
したがって、実施例１によれば、背景情報と関連性が強いが重要度では下位に位置する単語を重要度によるノイズから分別して決定することができ、文書群を代表するキーワードを抽出することが可能となる。また、従来の技術では決定することができなかった下位階層のキーワードを用いることで、精度の高い情報処理を行なうことが可能となる。
【００８４】
また、実施例１によれば、単語に付与された重要度や、文書間の類似度で抽出された代表文書群に出現する単語を第一階層のキーワード（または、仮想キーワード）として選出するので、確実に背景情報を示す上位キーワードに対応する下位のキーワードを連続して決定することが可能となる。
【００８５】
また、実施例１によれば、重要度の偏差を考慮したランキングスコアを算出することもできるので、背景情報を示す上位キーワードに対応する下位のキーワードをより精度よく決定することが可能となる。
【００８６】
なお、上記の実施例では、文書群処理装置１０がユーザＰＣ１に組み込まれたクライアント完結型の文書群処理システムについて説明した。しかし、本発明はこれに限定されるものではなく、以下に図１３〜１５を用いて説明するような変形例における文書群処理システムに文書群処理装置１０が組み込まれる場合であってもよい。なお、図１３〜１５は、文書群処理システムの変形例を説明するための図である。
【００８７】
図１３は、専用サーバに文書群処理装置１０などを設置するサーバ連動型の文書群処理システムの構成例である。かかる構成とすることで、ユーザＰＣ１における文書群処理の負荷を軽減することが可能となる。
【００８８】
また、図１４は、ウェブサーバ群における特定のウェブサーバ２０１に文書群処理装置１０などを設置するサーバ内適用型の文書群処理システムの構成例である。ここで、履歴取得装置２０も、ウェブサーバ２０１に設置されており、履歴取得装置２０は、ユーザＰＣ１を利用するユーザがウェブサーバ２０１にアクセスした閲覧履歴データを取得する。そして、文書群処理装置１０は、ユーザＰＣ１を利用するユーザがウェブサーバ２０１にアクセスした閲覧履歴データを処理対象の文書群として処理を実行する。かかる構成とすることで、ウェブサーバ２０１における単一ユーザの行動履歴や、ウェブサーバ２０１における複数ユーザの行動履歴を特定するための階層キーワードを決定するなど、様々な処理を行なうことが可能となる。
【００８９】
また、図１５は、ユーザＰＣ１に接続される外部デバイス（ＣＤ、ＤＶＤ、ＵＳＢ、マウス）に文書群処理装置１０などを設置する外部デバイス利用型の文書群処理システムの構成例である。なお、外部デバイスは、携帯電話、ＰＤＡ、ＰＨＳなどの携帯型通信機器であってもよい。かかる構成とすることで、処理開始トリガー３０の物理的インターフェイスが柔軟性となるといった利点や、通信網３を介して行なわれる内部情報処理装置４０と外部情報処理装置４との階層情報を用いた連携処理が容易になるといった利点がある。
【実施例２】
【００９０】
実施例２では、同一ウェブサーバにおいて所定の期間に渡って時系列に沿って閲覧されたウェブページに含まれる複数の文書が処理対象となる場合について、図１６を用いて説明する。図１６は、実施例２の文書群処理装置の処理対象となる文書群を説明するための図である。
【００９１】
実施例２における文書群処理装置１０は、図１４で説明したように、サーバ内適用型の文書群処理システムにて、特定のウェブサーバ２０１に設置される。そして、実施例２における文書群処理装置１０は、図１６に示すように、文書群処理装置１０を利用することを申請している複数のユーザ（ユーザＡ、ユーザＢ、ユーザＣ、・・・）が所定期間内に閲覧した閲覧履歴に含まれる文書群に対して実施例１で説明したような階層情報を生成する。
【００９２】
これにより、外部情報処理装置４および内部情報処理装置４０は、時系列に沿った文書群に対して文書群処理装置１０が付与した階層キーワードを蓄積することができ、ウェブサーバ２０１における検索スニペットの作成やアクセスログ解析への活用することが可能となる他に、下位階層キーワードの出現頻度や、下位階層キーワードの出現状況の変化などの傾向を分析することで、マーケティング戦略に有用な情報を抽出することが可能となる。
【実施例３】
【００９３】
実施例３では、時系列の情報を有さない複数の文書が処理対象となる場合について、図１７を用いて説明する。図１７は、実施例３の文書群処理装置の処理対象となる文書群を説明するための図である。
【００９４】
実施例３における文書群処理装置１０は、図１や図１３〜１５で説明したような文書処理システムのいずれかに設置される。そして、実施例３における文書群処理装置１０は、図１７に示すように、文書群処理装置１０を利用することを申請しているユーザが処理対象として指定した時系列の情報を有さない「ｘｘ学会要旨集」などの文書群に対して実施例１で説明したような階層情報を生成する。
【００９５】
ここで、指定した文書群がアナログデータである場合、図１７に示すように、文字認識などの手法により文書群のデジタル化が行なわれたのち、指定された文書群は、文書群処理装置１０に入力される。
【００９６】
これにより、外部情報処理装置４および内部情報処理装置４０は、階層情報に基づいて、例えば、目次を生成することが可能となる。また、外部情報処理装置４および内部情報処理装置４０は、階層情報に基づいて、「ｘｘ学会」に所属する研究者の研究開発のトレンドを抽出することが可能となる。また、外部情報処理装置４および内部情報処理装置４０は、階層情報に基づいて、「ｘｘ学会」に所属する研究者の研究分野におけるシソーラスを構築することが可能となる。また、専門分野の書籍や、特定の著者の文書や、特定のユーザが好む文書群などを処理対象とすることで、該当する専門分野や特定の著者や特定ユーザの嗜好するシソーラスを構築することが可能となる。
【実施例４】
【００９７】
実施例４では、２つの異なる文書群で共通する文書群、および／または、２つの異なる文書群で一方の文書群においてのみ存在する文書群が処理対象となる場合について、図１８を用いて説明する。図１８は、実施例４の文書群処理装置の処理対象となる文書群を説明するための図である。
【００９８】
実施例４における文書群処理装置１０は、図１や図１３〜１５で説明したような文書処理システムのいずれかに設置される。そして、実施例４における文書群処理装置１０は、特定のユーザが閲覧した時系列に沿った複数の文書群を用いて処理を行なう。例えば、実施例４における文書群処理装置１０は、図１８の（Ａ）に示すように、ユーザＡが第一期間に閲覧した閲覧履歴の「文書群Ａ」と、第一期間ののちユーザＡが第二期間に閲覧した閲覧履歴の「文書群Ｂ」と、第二期間ののちユーザＡが第三期間に閲覧した閲覧履歴の「文書群Ｃ」とを用いて処理を行なう。
【００９９】
具体的には、文書群処理装置１０は、図１８の（Ｂ）に示すように、重要度付与処理を実行する前において、文書群Ａと文書群Ｂとで共通する「ＡＢ共通文書群」と、文書群Ａと文書群Ｂとで一方の文書群においてのみ存在する「ＡＢ差分文書群」とを抽出する。同様に、文書群処理装置１０は、図１８の（Ｂ）に示すように、「ＢＣ共通文書群」、「ＢＣ差分文書群」、「ＡＣ共通文書群」および「ＡＣ差分文書群」を抽出する。そして、文書群処理装置１０は、２つの文書群から抽出した共通文書群や差分文書群を処理して階層情報を生成する。
【０１００】
これにより、外部情報処理装置４および内部情報処理装置４０は、時系列に沿った各共通文書群や差分文書群に対して文書群処理装置１０が付与した階層キーワードを解析することで、下位階層キーワードの出現頻度や、下位階層キーワードの出現状況の変化などのより細かい傾向の分析を行なうことができ、マーケティング戦略により有用な情報を抽出することが可能となる。
【０１０１】
なお、実施例１〜４において図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【０１０２】
なお、本実施例１〜４で説明した文書群処理方法は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【産業上の利用可能性】
【０１０３】
以上のように、本発明に係る文書群処理装置、文書群処理方法および文書群処理プログラムは、文書群に対する処理を行なう場合に有用であり、特に、文書群を代表する単語を抽出することに適する。
【符号の説明】
【０１０４】
１  ユーザＰＣ
２  ウェブサーバ群
３  通信網
４  外部情報処理装置
１０  文書群処理装置
１１  前処理部
１２  重要度付与部
１３  キーワード選出部
１３ａ  スコア算出部
１３ｂ  階層別キーワード決定部
１３ｃ  階層情報生成制御部
２０  履歴取得装置
３０  処理開始トリガー
【図１】
0005474455.tif 000002
【図２】
0005474455.tif 000003
【図３】
0005474455.tif 000004
【図４】
0005474455.tif 000005
【図５】
0005474455.tif 000006
【図６】
0005474455.tif 000007
【図７】
0005474455.tif 000008
【図８】
0005474455.tif 000009
【図９】
0005474455.tif 000010
【図１０】
0005474455.tif 000011
【図１１】
0005474455.tif 000012
【図１２】
0005474455.tif 000013
【図１３】
0005474455.tif 000014
【図１４】
0005474455.tif 000015
【図１５】
0005474455.tif 000016
【図１６】
0005474455.tif 000017
【図１７】
0005474455.tif 000018
【図１８】
0005474455.tif 000019