(57)【要約】【課題】  次々と取得される文書データを解析し、何ら知識を必要とせずに話題を表す語や速報性の高い重要な語を抽出する。【解決手段】  本発明は、文書の作成時刻、該文書を一意に定めるＩＤ、及び該文書中に出現する語句を記録した全語句蓄積データベースにアクセスし、解析に使用する時刻範囲中の該作成時刻を持つ語句を取得し、過去の一定期間において現在時刻に近い期間では正の値を、遠い期間では負の値を持つ話題検出フィルタを、時間と共に変化する各語句の出現文書数に対して適用し、過去での出現文書数と最近の出現文書数との対比から該語句の時間的な意外性を表す話題度を算出する。【選択図】  図１
2005316899.tif 000002
【特許請求の範囲】
【請求項１】
作成時刻情報を持つ多数の文書を解析し、該文書中の語句について、時間と共に変化する該語句の出現頻度推移を調査することで該語句の話題性の強度を数値化して出力する話題抽出方法において、
文書の作成時刻、該文書を一意に定めるＩＤ、及び該文書中に出現する語句を記録した全語句蓄積データベースにアクセスし、解析に使用する時刻範囲中の該作成時刻を持つ語句を取得する語句取得ステップと、
過去の一定期間において現在時刻に近い期間では正の値を、遠い期間では負の値を持つ話題検出フィルタを、時間と共に変化する各語句の出現文書数に対して適用することで、過去での出現文書数と最近の出現文書数との対比から該語句の時間的な意外性を表す話題度を算出する語句話題度算出ステップと、
算出された前記話題度を出力語句記憶手段に出力する出力ステップと、
からなることを特徴とする話題抽出方法。
【請求項２】
前記語句話題度算出ステップにおいて用いる前記話題検出フィルタは、
負の値をとる区間での面積が正の値をとる区間での面積より大きく、全区間での積分地が負の値となるフィルタである
請求項１記載の話題抽出方法。
【請求項３】
前記語句話題度算出ステップにおいて用いる前記話題検出フィルタは、
前記文書の数の大小に応じて変形するフィルタである
請求項１または、２記載の話題抽出方法。
【請求項４】
作成時刻情報を持つ多数の文書を解析し、該文書中の語句について、時間と共に変化する該語句の出現頻度推移を調査することで該語句の話題性の強度を数値化して出力する話題抽出装置であって、
文書の作成時刻、該文書を一意に定めるＩＤ、及び該文書中に出現する語句を記録した全語句蓄積データベースと、
前記全語句蓄積データベースにアクセスし、解析に使用する時刻範囲中の該作成時刻を持つ語句を取得する語句取得手段と、
過去の一定期間において現在時刻に近い期間では正の値を、遠い期間では負の値を持つ話題検出フィルタを、時間と共に変化する各語句の出現文書数に対して適用することで、過去での出現文書数と最近の出現文書数との対比から該語句の時間的な意外性を表す話題度を算出する語句話題度算出手段と、
算出された前記話題度を出力語句記憶手段に出力する出力手段と、
を有することを特徴とする話題抽出装置。
【請求項５】
前記語句話題度算出手段で用いる前記話題検出フィルタは、
負の値をとる区間での面積が正の値をとる区間での面積より大きく、全区間での積分地が負の値となるフィルタである
請求項４記載の話題抽出装置。
【請求項６】
前記語句話題度算出手段で用いる前記話題検出フィルタは、
前記文書の数の大小に応じて変形するフィルタである
請求項４または、５記載の話題抽出装置。
【請求項７】
作成時刻情報を持つ多数の文書を解析し、該文書中の語句について、時間と共に変化する該語句の出現頻度推移を調査することで該語句の話題性の強度を数値化して出力する話題抽出プログラムであって、
前記請求項１乃至３のいずれか記載の話題抽出方法をコンピュータに実行させることを特徴とする話題抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、話題抽出方法及び装置及びプログラムに係り、特に、分野別に分類されたニュース記事などの新しい情報を含む文書を次々と入手しうる状況において、各分野の文書中から最近の話題となっている語句を自動的に抽出するための話題抽出方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
新聞やテレビなどのメディアから入手できる情報は日々増加しているが、インターネットの普及による影響は特に著しく、ともすれば氾濫した情報はすぐにも埋もれてしまう。このような状況の中、最近になって更新・追加された情報は現在の世間の流行や関心事、新着情報など、タイムリーな情報を含んでいる可能性が高い。従って、作成時刻の新しい文書を数多く収集して解析すれば、最近のトレンドやタイムリーな出来事を把握することができる。
【０００３】
複数の文書情報から話題を表す語を抽出する技術には、文脈的な規則や言語的な知識を用いる方法がある（例えば、特許文献１参照）。これは、話題が転換する際に用いられる表現を学習させた辞書を使用し、さらに転換後の話題と転換前の話題との関係を考慮して話題候補の検出を行う方法である。
【特許文献１】特開平６−１３９２７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の方法は、ドメインの知識を必要としない方法であるが、話題検出を行う前に、『ところで』『次に』『さて』など、話題転換時に使用される表現を集めた辞書を作る必要がある。また、対象言語が変われば辞書の再構築が必要となる。
【０００５】
本発明は、上記の点に鑑みなされたもので、次々と取得される文書データを解析し、何ら知識を必要とせずに話題を表す語や速報性の高い重要な語を抽出する話題抽出方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
図１は、本発明の原理を説明するための図である。
【０００７】
本発明は、作成時刻情報を持つ多数の文書を解析し、該文書中の語句について、時間と共に変化する該語句の出現頻度推移を調査することで該語句の話題性の強度を数値化して出力する話題抽出方法において、
文書の作成時刻、該文書を一意に定めるＩＤ、及び該文書中に出現する語句を記録した全語句蓄積データベースにアクセスし（ステップ１）、解析に使用する時刻範囲中の該作成時刻を持つ語句を取得し（ステップ２）、
過去の一定期間において現在時刻に近い期間では正の値を、遠い期間では負の値を持つ話題検出フィルタを、時間と共に変化する各語句の出現文書数に対して適用することで、過去での出現文書数と最近の出現文書数との対比から該語句の時間的な意外性を表す話題度を算出し（ステップ３）、
算出された話題度を出力語句記憶手段に出力する（ステップ４）。
【０００８】
また、上記のステップ３において用いる話題検出フィルタは、負の値をとる区間での面積が正の値をとる区間での面積より大きく、全区間での積分地が負の値となるフィルタである。
【０００９】
また、上記のステップ３において用いる話題検出フィルタは、文書の数の大小に応じて変形するフィルタである。
【００１０】
図２は、本発明の原理構成図である。
【００１１】
本発明は、作成時刻情報を持つ多数の文書を解析し、該文書中の語句について、時間と共に変化する該語句の出現頻度推移を調査することで該語句の話題性の強度を数値化して出力する話題抽出装置であって、
文書の作成時刻、該文書を一意に定めるＩＤ、及び該文書中に出現する語句を記録した全語句蓄積データベース１３と、
全語句蓄積データベース１３にアクセスし、解析に使用する時刻範囲中の該作成時刻を持つ語句を取得する語句取得手段１５１と、
過去の一定期間において現在時刻に近い期間では正の値を、遠い期間では負の値を持つ話題検出フィルタを、時間と共に変化する各語句の出現文書数に対して適用し、過去での出現文書数と最近の出現文書数との対比から該語句の時間的な意外性を表す話題度を算出する語句話題度算出手段１５２と、
算出された話題度を出力語句記憶手段１６に出力する出力手段１５３と、を有する。
【００１２】
また、上記の語句話題度算出手段１５２で用いる話題検出フィルタは、負の値をとる区間での面積が正の値をとる区間での面積より大きく、全区間での積分地が負の値となるフィルタである。
【００１３】
また、上記の語句話題度算出手段１５２で用いる話題検出フィルタは、文書の数の大小に応じて変形するフィルタである。
【００１４】
本発明は、作成時刻情報を持つ多数の文書を解析し、該文書中の語句について、時間と共に変化する該語句の出現頻度推移を調査することで該語句の話題性の強度を数値化して出力する話題抽出プログラムであって、上記の話題抽出方法をコンピュータに実行させる話題抽出プログラムである。
【発明の効果】
【００１５】
上記のように、本発明によれば、ニュース記事のように速報性が高く、時々刻々と増加する多数の文書を対象として収集し、文書中の語句から話題性の高い語句を自動的に抽出することが可能となるため、各々の記事に目を通すことなく、話題性の高い語句のみを概観するだけで、最近の流行や話題を把握することが可能になる。
【００１６】
また、時間と共に増減する語句の出現頻度（語句が出現する文書数）に対し、現在を起点として近い過去においては正の重みを、遠い過去には負の重みを持つようなフィルタを適用することで現在における話題の盛り上がりを検出することができる。ここで使用するフィルタで負の効果を正の効果より大きくすることにより、話題抽出の誤差を減少させ、より大きな話題の変化を捉えることができる。
【００１７】
また、フィルタの時間帯や曜日によって文書数が増減する性質の情報ソースを用いる場合であっても、現時点まで持続している話題の検出を効果的に行うことができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面と共に、本発明の実施の形態を説明する。
【００１９】
図３は、本発明の一実施の形態における話題抽出装置の構成を示す。
【００２０】
同図に示す話題抽出装置１０には、本装置の入力となる文書データを蓄積する文書データバッファ１１と、本装置１０が出力する語句とその話題度を記録する出力語句記録装置１６が接続されている。
【００２１】
話題抽出装置１０は、文書解析部１２、全語句蓄積データベース１３、トリガ発行部１４、並びに語句話題度算出部１５で構成される。
【００２２】
文書データバッファ１１には、新しく作成された文書に一意の文書ＩＤを与え、作成時刻情報と共に、次々と入力して記録しておく、例えば、インターネット上のニュースサイトで公開されている記事のように、新しい情報を含む文書が逐次更新される情報源を対象とするのが望ましい。この場合には、サイト内の文書データの更新状況を監視し、更新された時刻を文書作成時刻とみなして収集するとよい。文書データバッファ１１は、入力文書を一時的に蓄えるキューであり、ここに蓄積される文書データは、文書解析部１２へ送出されるのを待つ。
【００２３】
文書解析部１２は、文書データバッファ１１に蓄積されている文書データを１文書分ずつ取得し、テキスト解析を行う。入力された文章に対して形態素解析を行い、品詞毎に分解する。このとき、必要に応じて連続する名詞を連結して複合名詞とし、複合名詞を１個の名詞として扱ってもよい。話題を表す語句としては、「歩く」「指示する」などの動詞や「青い」「高い」などの形容詞より名詞（または複合名詞）が適しているため、文書解析部１２は、名詞（または、複合名詞）のみを文書から切り出す。以降の説明では、名詞（または、複合名詞）を総称して「語句」と呼ぶ。
【００２４】
全語句蓄積データベース１３には、文書解析部１２から取得した文書の作成時刻と文書ＩＤ、その文書から切り出された語句をセットにして記録する。
【００２５】
トリガ発行部１４は、一定期間毎に話題抽出処理を行うためのトリガを生成するタイマである。予め設定する時間間隔毎に、語句話題度算出部１５に対して話題抽出処理の開始命令を送出する。語句話題度算出部１５は、トリガ発行部１４からのトリガを受けて話題抽出処理を開始する。
【００２６】
語句話題度算出部１５は、現在時刻から遡って過去の作成時刻を持つ語句の情報を全語句蓄積データベース１３から取得する。このとき、語句話題度算出部１５が決定する話題抽出対象期間内の作成時刻を持つ語句のみを取得するが、同時に、文書データバッファ１１に入力された文書数の多寡を勘案し、文書数が少ない場合には取得対象とする時刻範囲（話題抽出対象期間）を、一定数の文書量が得られるまで拡大させる。
【００２７】
ここで取得した語句のそれぞれについて話題度を算出して出力語句記録装置１６に出力する。
【００２８】
語句ｗの話題度とは、現在話題になっている事柄を表す語句として語句ｗがどの程度適しているかを表す数値である。話題度が大きいほど話題性が高い。
【００２９】
語句話題度算出部１５は、普段から定常的に用いられる語句は話題を表す語句でないとして排除し、出現しない期間がある程度続いた後に集中的に高頻度で出現した語句や、短期間に特に集中的に出現した語句を高く評価して大きな話題度を与える機能を有するものとして、以下のような機能で構成されるのがよい。
【００３０】
図４のグラフは、語句話題度算出部１５で語句の話題度算出を行う際に用いるフィルタである。現在時刻を起点として、現在よりＴplusだけ過去までの間（正区間と呼ぶ）では正値Ｗ＋をとり、さらに、Ｔminusだけ過去までの間（負区間と呼ぶ）では負値Ｗ−をとる。正区間の面積Ｓ＋に比べて負区間の面積Ｓ−のほうが大きい点が特徴である。
【００３１】
語句話題度算出部１５が話題度を算出する際に扱う語句は、全語句蓄積データベース１３に記録されている作成時刻が図４の正区間及び負区間のいずれかに含まれるような語句であり、それより過去の作成時刻を持つ語句は解析に用いない。つまり、先に述べた話題抽出対象期間とは、現在からＴplus＋Ｔminusだけ過去までの間である。但し、入力文書数が少ない場合には話題抽出対象期間を拡大させるが、その方法については後に詳しく説明する。
【００３２】
語句話題度算出部１５は、個々の語句について、Ｔminusの期間中の出現頻度には負値Ｗ−の重みを、Ｔplusの期間中の出現頻度には正値Ｗ＋の重みを乗じて加算し、全期間の合計値を話題度とする。従って、遠い過去（負区間）における出現量と近い過去（正区間）における出現量の対比により各語句の話題性を判断することになる。ここで、語句の出現頻度としては、文書内での出現回数を用いてもよいが、以下では該語句を含む文書数を出現頻度として扱うものとする。つまり、１度でも該語句を含む文書があれば、該語句の出現文書数を１としてカウントする。これは、例えば、ニュース記事においては、主題となる人名や組織名などの固有名詞が多くの場合１度しか出現せず、文書内での出現回数と話題性の大小が直接的には結びつかないためであり、むしろ該語句を含む文書の数が多ければ、話題性が高いと考えられるためである。負区間から正区間にかけて常に一定頻度で使用され続ける語句は値が小さくなり、最近（正区間の範囲）に出現量が増加した語句の話題度は正の大きな値をとる。出現文書数が少ない語句が話題として抽出されるのを防ぎ、より大きな話題の変化を検出するため、正区間の面積Ｓ＋に比べて負区間の面積Ｓ−のほうを大きくしておく。
【００３３】
語句話題度算出部１５の算出を終えると、その結果を出力語句記録装置１６に記録する。出力語句記録装置１６には、語句とその話題度が記録されるため、話題度が大きい語句から必要に応じて複数取得すれば、現在の話題を知ることができる。
【００３４】
続いて、本発明の話題抽出装置１０における実際の動作の様子を説明する。
【００３５】
図５は、本発明の一実施の形態における文書解析部の処理のフローチャートでる。
【００３６】
ステップ１０１）  文書解析部１２は、文書データバッファ１１に文書データが蓄積されているかを調べ、処理待ちの状態の文書が存在すれば、ステップ１０２に移行し、処理待ち状態の文書が存在しなければ、ステップ１０６に移行し、終了命令が与えられるまで当該処理を繰り返して文書が入力されるのを待機する。
【００３７】
ステップ１０２）  文書解析部１２は、１文書分のデータを文書データバッファ１１から取得する。
【００３８】
ステップ１０３）  次に、文書解析部１２は、取得した文書の解析を行う。文書の解析とは、入力文を品詞単位に分割する処理である。
【００３９】
ステップ１０４）  解析の結果、話題抽出の対象とする語句（名詞または複合名詞）が文書中に含まれるかどうかを判断する。例えば、文章が極端にも次回ために名詞や複合名詞が全く含まれない場合や解析ミスなどで名詞または複合名詞が全く取得されなかった場合には、取得した文書に関する処理を終え、再びステップ１０１に戻って次の文書の処理を行う。
【００４０】
ステップ１０５）  語句（名詞や複合名詞）が含まれた場合には、該語句を文書の作成時刻と共に、全語句蓄積データベース１３に記録し、ステップ１０６に移行する。
【００４１】
ステップ１０６）  終了命令が与えられるまでステップ１０１に戻って処理を繰り返す。
【００４２】
図６は、本発明の一実施の形態における全語句蓄積データベース内に記録されたデータ例である。同図の例では、２００４年１月８日１６時４５分に作成された文書ＩＤ「doc00275」の文書から切り出された語句「イラク」「自衛隊派遣」「今日」「経験」が、「2004/1/8 16:45」という時刻情報、「doc00275」という文書ＩＤと共に記録されている。同図において、語句「東京」４０１と、語句「東京」４０２はいずれも「2004/1/8/ 16:48」という時刻情報を持つが、「東京」という語句が、同じ作成時刻を持つ複数の文書（doc00277とdoc00278）から抽出されたことを表す。
【００４３】
図７は、本発明の一実施の形態における話題抽出処理のフローチャートであり、上記の全語句蓄積データベース１３に記録された情報を用いて、話題抽出を行う際の処理の流れを示している。
【００４４】
ステップ２０１）  処理が開始されると、トリガ発行部１４が語句話題度算出部１５に対して処理の開始を命令する。
【００４５】
ステップ２０２）  語句話題度算出部１５は、現在を起点として過去（Ｔplus＋Ｔminus）の期間を解析時刻範囲として仮決定する。例えば、正区間を８時間、負区間を２４時間とした図８のようなフィルタを用いる場合、正区間と負区間を合わせた３２時間前から現在までが仮の解析時刻範囲となる。
【００４６】
ステップ２０３）  続いて、語句話題度算出部１５は、全語句蓄積データベース１３にアクセスし、作成時刻と文書ＩＤの情報を調べることで、仮解析時刻範囲に含まれる作成時刻を持つ文書数を集計する。
【００４７】
ステップ２０４）  ３２時間前から現在までの間の作成時刻を持つ文書が少なく、一定数（例えば、文書数１００）に満たない場合には、ステップ２０５に移行する。満たす場合には、ステップ２０６に移行する。ここで、過去３２時間での文書数が一定数（例えば１００）を越えた場合は、仮の解析時刻範囲である３２時間がそのまま実際の解析時刻範囲となる。
【００４８】
ステップ２０５）  過去３２時間の作成時刻を持つ文書数が一定数（１００）に満たない場合には期間内の文書数が一定数（１００）に達するまで、さらに過去へと遡って期間を延長する。
【００４９】
文書数が一定数に達した点の作成時刻から現在までの期間が解析時刻範囲となる。現在から４８時間前の作成時刻を持つ文書まで遡ったところで文書数が１００を越えた場合、フィルタは図９のグラフのように、正区間が１２時間、負区間が３６時間の合計４８時間の時間幅を持つフィルタとなる。
【００５０】
入力文書の量によって解析時刻範囲を拡大させるのは次の理由による。
【００５１】
本発明の話題抽出装置で使用する文書データは、人間が記述するテキストである。このため、夜間に作成される文書は少なくなる。また、為替関連の文書は平日の昼間に多く作成される傾向がある。国内のスポーツの試合結果なども夜間の作成は少ない。曜日や時間によらず解析時刻範囲を一定にすると話題が全く抽出されない場合があるため、動的に解析時刻範囲の変更を行う。
【００５２】
なお、以下の説明では、解析時刻範囲が拡大され、図９のようになったフィルタを使用する場合の処理について説明する。
【００５３】
ステップ２０６）  ここまでで決定した解析時刻範囲内の未取得語句があるかを判定し、ある場合には、ステップ２０７に移行する。
【００５４】
ステップ２０７）  語句話題度算出部１５は、全語句蓄積データベース１３にアクセスし、解析時刻範囲内の作成時刻を持つ語句があれば取得する。現在時刻が２００４年１月８日１７時００分であった場合、３２時間前の２００４年１月７日９時００分以降が解析時刻範囲であるため、図６において、例えば「2004/1/8/16:48」という作成時刻を持つ「大蔵大臣」という語句は取得の対象となる。
【００５５】
ステップ２０８）  作成時刻「2004/1/8 16:48」は現在時刻の１２分前にあたり、図９の正区間の範囲内であるため、重みは「１」となる。この値「１」を語句話題度算出部１５内のバッファに、語句「大蔵大臣」の話題度の暫定値として一時的に記憶しておく。
【００５６】
ステップ２０６に移行し、ステップ２０６〜２０８の処理を、解析時刻範囲の作成時刻、即ち、３２時間前以降の作成時刻を持つ全ての語句について行う。「大蔵大臣」という語句が他の時刻でも出現した場合は、上記と同様に作成時刻から重みを決定し、語句話題度算出部１５内のバッファに加えて保持しておく。
【００５７】
ステップ２０９）  ステップ２０６において、全ての語句の話題度の暫定値が終了した時点で語句話題度算出部１５内のバッファに語句毎に保持されている暫定値が、各語句の話題度である。従って、この値を出力語句記録部１６に記録する。
【００５８】
ここまでの処理により、解析時刻範囲である過去４８時間に出現した全ての語句の話題度が算出され、出力語句記録装置１６に図１０に示すように記録される。この中で大きな話題度「１２．７５」をもつ「イラク」や「１０．００」を持つ「自衛隊派遣」が現在時刻２００４年１月８日１７時００分時点での話題を強く表す語である。
【００５９】
ステップ２１０）  終了命令があれば、ここで処理を終了する。終了命令がない場合には、ステップ２１１に移行する。
【００６０】
ステップ２１１）  終了命令がない場合には、トリガ発行部１４が予め設定しておく一定期間だけ待機し、ステップ２０１に移行して、再び話題度算出処理の開始トリガを発行する。
【００６１】
以上の処理を繰り返すことで、一定時間毎に最新の話題を常に出力し続ける。
【００６２】
また、本発明は、上記の図５、図７に示す動作をプログラムとして構築し、話題抽出装置として利用されるコンピュータにインストールし、ＣＰＵ等の制御手段により実行させる、または、ネットワークを介して取得して実行させることも可能である。
【００６３】
なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００６４】
本発明は、文書中から最近の話題となっている語句を自動的に抽出する技術に適用可能である。
【図面の簡単な説明】
【００６５】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態における話題抽出装置の構成図である。
【図４】本発明の一実施の形態における語句話題度算出部のフィルタの例である。
【図５】本発明の一実施の形態における文書解析部の処理のフローチャートである。
【図６】本発明の一実施の形態における全語句蓄積データベースの例である。
【図７】本発明の一実施の形態における話題抽出処理のフローチャートである。
【図８】本発明の一実施の形態における正区間を８時間、負区間を２４時間としたフィルタの例である。
【図９】本発明の一実施の形態における解析時刻範囲を拡大させたフィルタの例である。
【図１０】本発明の一実施の形態における出力語句記録装置に格納される語句と話題度の例である。
【符号の説明】
【００６６】
１０  話題抽出装置
１１  文書データバッファ
１２  文書解析部
１３  全語句蓄積データベース
１４  トリガ発行部
１５  語句話題度算出部
１６  出力語句記憶手段、出力語句記録装置
１５１  語句取得手段
１５２  語句話題度算出手段
【図１】
2005316899.tif 000003
【図２】
2005316899.tif 000004
【図３】
2005316899.tif 000005
【図４】
2005316899.tif 000006
【図５】
2005316899.tif 000007
【図６】
2005316899.tif 000008
【図７】
2005316899.tif 000009
【図８】
2005316899.tif 000010
【図９】
2005316899.tif 000011
【図１０】
2005316899.tif 000012