(57)【特許請求の範囲】
【請求項１】
マイクロブログの入力テキストを、利用者が与える任意の指定文字列に関連するか否かで分類するマイクロブログテキスト分類装置であって、
前記入力テキストに、前記指定文字列が含まれるか否かを判定するテキスト解析手段と、
前記指定文字列が含まれる指定テキストN1件と、前記指定文字列が含まれない比較テキストM1件を記憶するテキスト短期記憶手段と、
前記指定文字列が含まれる指定テキストN2件と、前記指定文字列が含まれない比較テキストM2件を記憶するテキスト長期記憶手段と、
前記テキスト短期記憶手段に保存されたテキストを基に、前記入力テキストの、前記指定文字列への関連スコアを算出し、出力する短期的テキスト分類手段と、
前記テキスト長期記憶手段に保存されたテキストを基に、前記入力テキストの、前記指定文字列への関連スコアを算出し、出力する長期的テキスト分類手段と、
前記短期的テキスト分類手段の出力結果と、前記長期的テキスト分類手段の出力結果を基に、前記入力テキストが、前記指定文字列に関連するか否かを判定する判定手段と、を有し、N1、N2、M1、M2は、それぞれ自然数であり、N1の値はN2より小さく、M1の値はM2より小さい
ことを特徴とするマイクロブログテキスト分類装置。
【請求項２】
前記短期的テキスト分類手段は、
前記テキスト短期記憶手段に格納されている全ての指定テキストを連結した第１のテキストと、該第１のテキストと前記入力テキストを連結した第２のテキストと、前記テキスト短期記憶手段に格納されている全ての比較テキストを連結した第３のテキストと、該第３のテキストと前記入力テキストを連結した第４のテキストを出力する短期テキスト連結手段と、
前記短期テキスト連結手段で求められたテキストをそれぞれ辞書式の圧縮アルゴリズムを用いてデータ圧縮し、圧縮後のデータサイズを求める短期テキスト圧縮手段と、
前記短期テキスト圧縮手段で求められた各テキストについての前記圧縮後のデータサイズを基に、前記入力テキストの、前記指定文字列への関連スコアを求める短期スコア出力手段と、
を有することを特徴とする請求項1記載のマイクロブログテキスト分類装置。
【請求項３】
前記長期的テキスト分類手段は、
前記テキスト長期記憶手段に格納されている全ての指定テキストを連結した第５のテキストと、該第５のテキストと前記入力テキストを連結した第６のテキストと、前記テキスト長期記憶手段に格納されている全ての比較テキストを連結した第７のテキストと、該第７のテキストと前記入力テキストを連結した第８のテキストを出力する長期テキスト連結手段と、
前記長期テキスト連結手段で求められたテキストをそれぞれ統計型の圧縮アルゴリズムを用いてデータ圧縮し、圧縮後のデータサイズを求める長期テキスト圧縮手段と、
前記長期テキスト圧縮手段で求められた各テキストの前記圧縮後のデータサイズを基に、前記入力テキストの、前記指定文字列への関連スコアを求める長期スコア出力手段と、
を有することを特徴とする請求項1又は２に記載のマイクロブログテキスト分類装置。
【請求項４】
マイクロブログの入力テキストを、利用者が与える任意の指定文字列に関連するか否かで分類するマイクロブログテキスト分類装置が実行するマイクロブログテキスト分類方法であって、
前記マイクロブログテキスト分類装置は、前記指定文字列が含まれる指定テキストN1件と、前記指定文字列が含まれない比較テキストM1件を記憶するテキスト短期記憶手段と、前記指定文字列が含まれる指定テキストN2件と、前記指定文字列が含まれない比較テキストM2件を記憶するテキスト長期記憶手段と、を備え、
前記テキスト短期記憶手段に保存されたテキストを基に、前記入力テキストの、前記指定文字列への関連スコアを算出し、出力する短期的テキスト分類ステップと、
前記テキスト長期記憶手段に保存されたテキストを基に、前記入力テキストの、前記指定文字列への関連スコアを算出し、出力する長期的テキスト分類ステップと、
前記短期的テキスト分類ステップの出力結果と、前記長期的テキスト分類ステップの出力結果を基に、前記入力テキストが、前記指定文字列に関連するか否かを判定する判定ステップと、を有し、N1、N2、M1、M2は、それぞれ自然数であり、N1の値はN2より小さく、M1の値はM2より小さい
ことを特徴とするマイクロブログテキスト分類方法。
【請求項５】
前記短期的テキスト分類ステップは、
前記テキスト短期記憶手段に格納されている全ての指定テキストを連結した第１のテキストと、該第１のテキストと前記入力テキストを連結した第２のテキストと、前記テキスト短期記憶手段に格納されている全ての比較テキストを連結した第３のテキストと、該第３のテキストと前記入力テキストを連結した第４のテキストを出力する短期テキスト連結ステップと、
前記短期テキスト連結ステップで求められたテキストをそれぞれ辞書式の圧縮アルゴリズムを用いてデータ圧縮し、圧縮後のデータサイズを求める短期テキスト圧縮ステップと、
前記短期テキスト圧縮ステップで求められた各テキストについての前記圧縮後のデータサイズを基に、前記入力テキストの、前記指定文字列への関連スコアを求める短期スコア出力ステップと、
を有することを特徴とする請求項４記載のマイクロブログテキスト分類方法。
【請求項６】
前記長期的テキスト分類ステップは、
前記テキスト長期記憶手段に格納されている全ての指定テキストを連結した第５のテキストと、該第５のテキストと前記入力テキストを連結した第６のテキストと、前記テキスト長期記憶手段に格納されている全ての比較テキストを連結した第７のテキストと、該第７のテキストと前記入力テキストを連結した第８のテキストを出力する長期テキスト連結ステップと、
前記長期テキスト連結ステップで求められたテキストをそれぞれ統計型の圧縮アルゴリズムを用いてデータ圧縮し、圧縮後のデータサイズを求める長期テキスト圧縮ステップと、
前記長期テキスト圧縮ステップで求められた各テキストの前記圧縮後のデータサイズを基に、前記入力テキストの、前記指定文字列への関連スコアを求める長期スコア出力ステップと、
を有することを特徴とする請求項４又は５に記載のマイクロブログテキスト分類方法。
【請求項７】
コンピュータを、請求項１ないし３のうちいずれか１項に記載のマイクロブログテキスト分類装置における各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マイクロブログテキスト分類装置及び方法及びプログラムに係り、特に、マイクロブログテキストが、利用者が与える任意の指定文字列に関連するか否かを、データ圧縮の特性を利用して、短期的な傾向と長期的な傾向の両情報に基づいて分類するためのマイクロブログテキスト分類技術に関する。
【背景技術】
【０００２】
近年ではマイクロブログ（ミニブログとも呼ばれる）という、主に利用者自身の現在の状況や雑感などを短いテキストで記すウェブサイトが普及している。マイクロブログは、更新が容易で、リアルタイム性に優れているため、インターネット上での第一次情報源としての役割を担い得る、重要なメディアである。
【０００３】
大勢のユーザによって大量に投稿されるマイクロブログのテキスト集合から、ユーザが望む情報に関連したテキストのみを抽出することは大きな技術課題である。従来技術として、指定した文字列（キーワード）が含まれるテキストを抽出するキーワード検索が利用可能である。例えば、「口蹄疫」という家畜の感染病に関する情報を調べたい際は、キーワード検索で「口蹄疫」を入力すれば、「口蹄疫」という文字列が含まれるテキストを抽出することができる。しかし、キーワード検索では、ユーザが望む情報に関連したテキストでも、指定した文字列が含まれていないテキストを抽出することはできず、マイクロブログという短いテキストを扱うメディアでは、網羅性の高い検索を行うことができない。
【０００４】
次に、指定したタグが含まれるテキストを抽出するタグ検索が利用可能である。利用者がタグと呼ばれる短い文字列を付与してテキストを投稿することで、同じ話題に関するテキストを（他者のテキストも含めて）グループ化し、検索・閲覧に役立てている。例えば、口蹄疫に関するタグの一例として「#kouteieki」があり、このタグを用いると、
・「昨日の参議院農林水産委員会の動画を書き起こしました。#kouteieki」
・「県知事が記者会見。種牛殺処分へ。 #kouteiki」
という、「口蹄疫」が含まれていないテキストも抽出することができる。しかし、全ての利用者がタグを使用しているわけではないため、タグ検索の網羅性も十分ではない。
【０００５】
ここで、指定した文字列（タグを含む任意の文字列）が含まれるテキスト集合を基に、入力されたテキストが指定した文字列に関連するかどうかを分類することで、検索の網羅性を高めることが可能である。
【０００６】
通常のブログのテキスト分類（例えば、特許文献１、非特許文献１参照）では、テキストを形態素解析によって素性（形態素）に分割した後に各素性と分類対象の関連性を、テキスト分類アルゴリズムによって学習する（例えば、非特許文献２参照）。しかし、マイクロブログでは他メディアに比べて、くだけた日本語表現が多く、辞書に登録されていない新奇語も日々出現するため、形態素解析の精度が低く、結果として分類精度も低くなってしまう。さらに、形態素解析を用いる場合は、日本語以外の言語で記述されたテキストの分類精度が大きく落ちる。また、連続するn文字を素性とするn-gram（通常、nには1〜3程度が選ばれる）では、くだけた表現にも新奇語にも対応し易いが、形態素解析を用いて得た素性より精度が低くなることが知られている。
【０００７】
また、マイクロブログには、現在の状況に強く依存する（リアルタイム性の高い）テキストと、そうでないテキストが混在する。例えば、スポーツ選手の名前は、長期的にはスポーツに関する話題の分類に役立つ文字列であるが、結婚などのイベントの発生により、短期的に見ると芸能ニュースに強く影響する文字列となる場合がある。このように、リアルタイム性の高いテキストを分類する場合は、長期的に保存した大量のツイートを基に分類するよりも、短期的に保存した少量のツイートを基に分類する方が、分類精度が高くなる。一方、リアルタイム性の低いツイートの場合は、長期的に保存した大量のツイートを基に分類した方が、分類精度が高くなる。テキスト分類器は、リアルタイム性が高いツイート・低いツイートのどちらに関しても、高い分類精度を実現しなければいけない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００８−３１０６２６号公報
【非特許文献】
【０００９】
【非特許文献１】T. Ohkura, Y. Kiyota, and H. Nakagawa. Browsing system for weblog articles based on automated folksonomy. In Proc. WWW 2006 Workshop on Weblogging Ecosystem: Aggregation, Analysis, and Dynamics, 2006.
【非特許文献２】M. Dredze, K. Crammer, F. Pereira. "Confidence-Weighted Linear Classification", Proceedings of the 25th international conference on Machine learning, Pages: 264-271, 2008.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上記のように、現在はマイクロブログという、短く、くだけた文体で、テキストが投稿されるメディアに対して、利用者が望む情報に関連するテキストのみを、短期的な傾向と長期的な傾向に基づいて、高い精度を実現して分類できる技術は存在しない。
【００１１】
本発明は、上記従来技術の問題点に鑑みてなされたものであり、形態素解析やn-gram分割の必要が無く、どんな言語で記述されたテキストに対しても、指定テキスト集合の傾向変化に高速に適応しながら、長期的な傾向に基づいた高い分類精度も同時に実現するマイクロブログテキスト分類技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、本発明は、マイクロブログの入力テキストを、利用者が与える任意の指定文字列に関連するか否かで分類するマイクロブログテキスト分類装置であって、
前記入力テキストに、前記指定文字列が含まれるか否かを判定するテキスト解析手段と、
前記指定文字列が含まれる指定テキストN1件と、前記指定文字列が含まれない比較テキストM1件を記憶するテキスト短期記憶手段と、
前記指定文字列が含まれる指定テキストN2件と、前記指定文字列が含まれない比較テキストM2件を記憶するテキスト長期記憶手段と、
前記テキスト短期記憶手段に保存されたテキストを基に、前記入力テキストの、前記指定文字列への関連スコアを算出し、出力する短期的テキスト分類手段と、
前記テキスト長期記憶手段に保存されたテキストを基に、前記入力テキストの、前記指定文字列への関連スコアを算出し、出力する長期的テキスト分類手段と、
前記短期的テキスト分類手段の出力結果と、前記長期的テキスト分類手段の出力結果を基に、前記入力テキストが、前記指定文字列に関連するか否かを判定する判定手段と、を有し、N1、N2、M1、M2は、それぞれ自然数であり、N1の値はN2より小さく、M1の値はM2より小さい
ことを特徴とするマイクロブログテキスト分類装置として構成される。
【００１３】
前記短期的テキスト分類手段は、
前記テキスト短期記憶手段に格納されている全ての指定テキストを連結した第１のテキストと、該第１のテキストと前記入力テキストを連結した第２のテキストと、前記テキスト短期記憶手段に格納されている全ての比較テキストを連結した第３のテキストと、該第３のテキストと前記入力テキストを連結した第４のテキストを出力する短期テキスト連結手段と、
前記短期テキスト連結手段で求められたテキストをそれぞれ辞書式の圧縮アルゴリズムを用いてデータ圧縮し、圧縮後のデータサイズを求める短期テキスト圧縮手段と、
前記短期テキスト圧縮手段で求められた各テキストについての前記圧縮後のデータサイズを基に、前記入力テキストの、前記指定文字列への関連スコアを求める短期スコア出力手段と、を有するように構成することができる。
【００１４】
なお、前記短期スコア出力手段は、データ圧縮後のデータサイズの差分と、短いテキストの関連スコアが小さくなり過ぎないようにするためのスムージングパラメータを用いて前記関連スコアを求める手段を含むようにしてもよい。
【００１５】
また、前記長期的テキスト分類手段は、
前記テキスト長期記憶手段に格納されている全ての指定テキストを連結した第５のテキストと、該第５のテキストと前記入力テキストを連結した第６のテキストと、前記テキスト長期記憶手段に格納されている全ての比較テキストを連結した第７のテキストと、該第７のテキストと前記入力テキストを連結した第８のテキストを出力する長期テキスト連結手段と、
前記長期テキスト連結手段で求められたテキストをそれぞれ統計型の圧縮アルゴリズムを用いてデータ圧縮し、圧縮後のデータサイズを求める長期テキスト圧縮手段と、
前記長期テキスト圧縮手段で求められた各テキストの前記圧縮後のデータサイズを基に、前記入力テキストの、前記指定文字列への関連スコアを求める長期スコア出力手段と、を備えて構成してもよい。
【００１６】
なお、前記長期スコア出力手段は、データ圧縮後のデータサイズの差分と、短いテキストのスコアが小さくなり過ぎないようにするためのスムージングパラメータを用いて前記関連スコアを求める手段を含むように構成してもよい。
【００１７】
また、本発明は、前記マイクロブログテキスト分類装置が実行するマイクロブログテキスト分類方法として構成してもよい。更に、本発明は、コンピュータを、前記マイクロブログテキスト分類装置における各手段として機能させるためのプログラムとして構成してもよい。
【発明の効果】
【００１８】
上記のように構成された本発明に係るマイクロブログテキスト分類技術によれば、入力テキストが、利用者が指定した文字列が含まれる指定テキストの集合と、指定テキストを除く比較テキストの集合の、どちらと強い関連を示すかについて、短期的な少量のテキスト集合を基にしたデータ圧縮と、長期的な大量のテキスト集合を基にしたデータ圧縮を利用して分類するので、リアルタイム性の高いテキストと、リアルタイム性の低いテキストの両方を高い精度で分類できる。
【００１９】
さらに、形態素解析やn-gram分割の必要が無いため、どんな言語で記述されたテキストに対しても共通の処理を用いてテキスト分類を実施できる。  
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態におけるマイクロブログテキスト分類装置１００の構成図である。
【図２】マイクロブログテキスト分類装置１００の処理動作を示すフローチャートである。
【図３】短期的テキスト分類部１４０での処理に係るデータ構造とスコア出力例を示す図である。
【図４】最終出力判定部１６０による2つのスコアに基づいた分類方法を示す図である。
【図５】マイクロブログのテキスト分類結果の一例を示す図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して本発明の実施の形態を説明する。
【００２２】
（装置構成）
図１は、本発明の一実施形態におけるマイクロブログテキスト分類装置１００の構成を示す。
【００２３】
同図に示すマイクロブログテキスト分類装置１００は、テキスト短期記憶部１１０とテキスト長期記憶部１２０とテキスト解析部１３０と短期的テキスト分類部１４０と長期的テキスト分類部１５０と最終出力判定部１６０から構成され、マイクロブログのテキストと利用者が指定する文字列を入力として受け取り、入力テキストが指定文字列に関連するか否かを分類し、分類結果を出力する。
【００２４】
図１に示すように、短期的テキスト分類部１４０は、短期テキスト連結部１４１と短期テキスト圧縮部１４２と短期スコア出力部１４３から構成され、長期的テキスト分類部１５０は、長期テキスト連結部１５１と長期テキスト圧縮部１５２と長期スコア出力部１５３から構成される。
【００２５】
ここで、短期的テキスト分類部１４０がテキスト短期記憶部１１０に格納するテキストの量は、長期的テキスト分類部１５０がテキスト長期記憶部１２０に格納するテキストの量より少ない。また、後述するように、テキスト短期記憶部１１０は、指定文字列が含まれるテキストである指定テキストと、指定文字列が含まれないテキストである比較テキストを記憶するが、そのために、テキスト短期記憶部１１０は、指定テキストを記憶する指定短期テキスト記憶部１１１と、比較テキストを記憶する比較短期テキスト記憶部１１２を備えてもよい。同様に、テキスト長期記憶部１２０は、指定テキストを記憶する指定長期テキスト記憶部と、比較テキストを記憶する比較長期テキスト記憶部を備えてもよい。もちろん、上記のように記憶部を分けることの他、入力テキストxが指定テキストか比較テキストであるかの情報と共に各テキストをテキスト短期記憶部１１０とテキスト長期記憶部１２０に格納するようにしてもよい。
【００２６】
また、本実施の形態において、短期テキスト圧縮部１４２は辞書式の圧縮アルゴリズムを用いてテキストの圧縮を行い、長期テキスト圧縮部１５２は統計式の圧縮アルゴリズムを用いてテキストの圧縮を行う。
【００２７】
短期的テキスト分類部１４０は、直近のテキストに基づいて分類を行うことで、ツイート内容の急激な傾向変化にも素早く対応することができる。長期的テキスト分類部１５０は、大量のテキストに基づいて分類を行うことで、高い分類精度を実現できる。
【００２８】
マイクロブログテキスト分類装置１００は、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。すなわち、マイクロブログテキスト分類装置１００において、各部が有する機能は、当該装置を構成するコンピュータに内蔵されるＣＰＵやメモリなどのハードウェア資源を用いて、各部で実施される処理に対応するプログラムを実行することによって実現することが可能である。また、当該プログラムは、当該プログラムを記録したＦＤ、ＣＤ−ＲＯＭ、ＤＶＤなどの記録媒体や、インターネットなどのネットワークを介して市場に流通させることができる。
【００２９】
（装置の動作）
次に、本実施の形態に係るマイクロブログテキスト分類装置１００の処理動作を、図２に示すフローチャートの手順に沿って詳細に説明する。
【００３０】
ステップ１）テキスト解析部１３０は、入力テキストx（マイクロブログテキスト）に、利用者が指定する指定文字列が含まれるか否かを判定する。ここで、指定文字列は、タグ（#から始まる文字列）、ユーザ名（@から始まる文字列）、URL、タグやユーザ名を除く任意のキーワードなど、如何なる文字列でも良い。
【００３１】
入力テキストに指定文字列が含まれない場合はステップ２に進む。入力テキストに指定文字列が含まれる場合はステップ８に進む。
【００３２】
ステップ２）短期テキスト連結部１４１は、テキスト短期記憶部１１０に格納されている全ての指定テキストを連結した第１のテキストAと、該第１のテキストと前記入力テキストxを連結した第２のテキストAxと、前記テキスト短期記憶部１１０に格納されている全ての比較テキストを連結した第３のテキストBと、該第３のテキストと前記入力テキストxを連結した第４のテキストBxを出力する。このとき、テキストは時間順に（古い物ほどテキストの前方にくるように）連結する。
【００３３】
ステップ３）短期テキスト圧縮部１４２は、前記第１〜第４のテキストA、Ax、B、Bxをそれぞれ圧縮して、各テキストの圧縮後サイズZ(A)、Z(Ax)、Z(B)、Z(Bx)を求める。ここで、短期テキスト圧縮部１４２は、文献１（Peter Deutsch, "RFC 1951 DEFLATE Compressed Data Format Specification version 1.3", Network Working Group, Request for Comments: 1951, May 1996.）で示されるdeflateなどの、公知の辞書式圧縮アルゴリズムを利用することで、短期的な少量のテキストによる分類の精度と効率を高める。
【００３４】
ステップ４）短期スコア出力部１４３は、前記短期テキスト圧縮部１４２の出力結果Z(A)、Z(Ax)、Z(B)、Z(Bx)を用いて、以下の式により入力テキストxの関連スコアf(x)を算出する。
【００３５】
【数１】
0005557791.tif 000002
ここで、γはスムージングパラメータで、短い入力テキストのスコアが小さくなりすぎることと、ゼロ除算を防ぐ目的で用いられる（例えば、γ＝30などを用いる）。なお、入力テキストxに指定文字列が含まれている場合は、f(x)=0とする。
【００３６】
ステップ２〜ステップ４の処理の具体例を図３に示す。図３は、短期的テキスト分類部１４０での処理に係るデータ構造と、スコア出力例を示す。図３に示すように、指定短期テキスト記憶部１１１に格納された指定テキストが連結されて指定短期連結テキストAが生成され、指定短期連結テキストAと入力テキストxが連結されてテキストAxが生成される。また、比較短期テキスト記憶部１１２に格納された比較テキストが連結されて比較短期連結テキストBが生成され、比較短期連結テキストBと入力テキストxが連結されてテキストBxが生成される。そして、それぞれのテキストが辞書式圧縮アルゴリズムにより圧縮され、圧縮データサイズから関連スコアf(x)が算出される。
【００３７】
ここで、Aとxの間で一致する文字列が多く含まれ、Aを事前情報として用いるとxを圧縮しやすくなる場合、Z(Ax)−Z(A)の値はゼロに近づく。一方、Bとxの間に関連が無い場合、xは圧縮されにくいため、Z(Bx)−Z(B)の値がZ(Ax)−Z(A)に比べて大きくなる。データ圧縮による分類は、文献２（Dario Benedetto, Emanuele Caglioti, and Vittorio Loreto, "Language Trees and Zipping", Physical Review Letters, 88:4, 2002）などにより公知であるが、本発明の実施の形態に係る技術では、圧縮後サイズの差分の比率とスムージングパラメータの適用により、マイクロブログのテキストの中でも、指定文字列と関連が強く、かつ情報量が多いツイートを分類することを可能とする。
【００３８】
また、データ圧縮では、形態素解析などを行う必要は無く、いかなる言語で記述されたテキストも精度を落とすことなく扱える。また、非常にシンプルな分類手法であり、従来のテキスト分類器に比べ高速な分類が可能となる。さらに、テキストは時間順に連結されるため、多くのユーザが一斉に同内容のテキストを投稿したような場合はテキストが圧縮されやすくなり、高い分類精度を実現しやすい。
【００３９】
ステップ５）長期テキスト連結部１５１は、テキスト長期記憶部１２０に格納されている全ての指定テキストを連結した第５のテキストA'と、該第５のテキストと前記入力テキストxを連結した第６のテキストA'xと、前記テキスト長期記憶部１２０に格納されている全ての比較テキストを連結した第７のテキストB'と、該第７のテキストと前記入力テキストを連結した第８のテキストB'xを出力する。このとき、テキストは時間順に（古い物ほどテキストの前方にくるように）連結する。
【００４０】
ステップ６）長期テキスト圧縮部１５２は、前記第５〜第８のテキストA'、A'x、B'、B'xをそれぞれ圧縮して、各テキストの圧縮後サイズZ(A')、Z(A'x)、Z(B')、Z(B'x)を求める。ここで、長期テキスト圧縮部１５２は、文献３（J.G. Cleary, and I.H. Witten, "Data compression using adaptive coding and partial string matching," IEEE Transactions on Communications, vol.COM-32, no.4, pp.396-402, 1984.）や文献４（G. Cormack, and R.N.S. Horspool,"Data compression using dynamic markov modelling," The Computer Journal, vol.30, no.6, pp.541-550, 1987.）で示されるprediction by partial matching(PPM)やdynamic Markov compression（DMC）などの、公知で圧縮率の良い統計的なアルゴリズムを用いることで、長期的なテキスト集合に基づいたテキスト分類の精度を高めることができる。
【００４１】
ステップ７）長期スコア出力部１５３は、前記長期テキスト圧縮部１５２の出力結果Z(A')、Z(A'x)、Z(B')、Z(B'x)を用いて、以下の式により入力テキストxの関連スコアg(x)を算出する。
【００４２】
【数２】
0005557791.tif 000003
ここで、δはスムージングパラメータで、短い入力テキストのスコアが小さくなりすぎることと、ゼロ除算を防ぐ目的で用いられる（例えば、δ＝30などを用いる）。なお、入力テキストxに指定文字列が含まれている場合は、g(x)=0とする。
【００４３】
ステップ８）テキスト解析部１３０は、ステップ１において解析した、入力テキストxが指定テキストか比較テキストであるかの情報と共に、入力テキストxをテキスト短期記憶部１１０と、テキスト長期記憶部１２０に格納する。ただし、前記テキスト短期記憶部１１０が格納できるテキストは、直近の指定テキストN1件、直近の比較テキストM1件とする。すなわち、例えば、テキスト短期記憶部１１０において既にN1件の指定テキストが格納されている状態で、新たに指定テキストを格納する場合、最も古い指定テキストを削除した上で、新たな指定テキストを格納する。比較テキストについても同様である。
【００４４】
同様に、前記テキスト長期記憶部１２０が格納できるテキストは、直近の指定テキストN2件、直近の比較テキストM2件とする。ここで、N1、N2、M1、M2は、ぞれぞれ０以上の整数であり、N1の値はN2より小さく、M1の値はM2より小さいものとする。
【００４５】
なお、指定文字列でタグが指定された場合は、比較テキストを、入力テキストxにどのようなタグも含まれないテキストとしても良い。同様に、指定文字列でURLが指定された場合は、比較テキストを、入力テキストxにどのようなURLも含まれないテキストとしても良い。同様に、指定文字列でユーザ名が指定された場合は、比較テキストを、入力テキストxにどのようなユーザ名も含まれないテキストとしても良い。
【００４６】
本発明に係る学習処理は、本ステップに関する処理のみであり、非常に高速な学習が実現できる。
【００４７】
ステップ９）最終出力判定部１６０は、短期スコア出力部１４３の出力結果f(x)と長期スコア出力部１５３の出力結果g(x)に基づき、f(x)が閾値θよりも小さい場合、あるいは、f(x)が閾値θより大きく、かつ、g(x)が閾値φより小さい場合に、入力テキストxが指定文字列に関連していると分類し、関連していることを示す情報を出力する。それ以外の場合は、入力テキストxが指定文字列に関連していないと分類し、関連していないことを示す情報を出力する。いずれの場合も、f(x)とg(x)のスコアも出力してもよい。図４に、当該最終出力判定部１６０による2つのスコアに基づいた分類について示す。
【００４８】
閾値θ、閾値φの値を小さく設定すると、高い精度で分類が可能になり、大きく設定すると、高い網羅率を実現する分類が可能になる。例えば、θ、φの値には0.5 などを利用する。
【００４９】
図５に、一例として、θ=0.5、φ＝1.0とし、「#eiga」を指定文字列とした場合のマイクロブログのテキスト分類結果の例を示す。映画に関連するテキストについて、リアルタイム性が高いテキストもリアルタイム性が低いテキストも、短期的な傾向に基づく分類器（短期的テキスト分類部１４０）と長期的な傾向に基づく分類器（長期的テキスト分類部１５０）を両方用意することにより抽出できていることがわかる。
【００５０】
また、最終出力判定部１６０によるスコアの分類において、f(x)とg(x)の値の線形和（a×f(x)+b×g(x)）が閾値θより小さい場合に、入力テキストxが指定文字列に関連していると分類しても良い。このときのa, bの値には、例えば、それぞれ0.7, 0.3などを使用する。
【００５１】
上記のように、短期的な傾向に基づくテキストの分類手段と、長期的な傾向に基づくテキストの分類手段との2つ用い、それぞれ辞書式の圧縮アルゴリズムと統計型の圧縮アルゴリズムを利用することにより、リアルタイム性の高いテキストの傾向変化に高速に適応しながら、長期的な傾向に基づいた高い分類精度も同時に実現する、高い分類精度を実現するマイクロブログのテキスト分類が実現できる。
【産業上の利用可能性】
【００５２】
本発明は、マイクロブログテキストを、利用者が指定する文字列に関連するか否かを分類可能な手法であり、情報検索の支援に利用可能である。
【００５３】
本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【符号の説明】
【００５４】
１００  マイクロブログテキスト分類装置
１１０  テキスト短期記憶部
１２０  テキスト長期記憶部
１３０  テキスト解析部
１４０  短期的テキスト分類部
１４１  短期テキスト連結部
１４２  短期テキスト圧縮部
１４３  短期スコア出力部
１５０  長期的テキスト分類部
１５１  長期テキスト連結部
１５２  長期テキスト圧縮部
１５３  長期スコア出力部
１６０  最終出力判定部
【図１】
0005557791.tif 000004
【図２】
0005557791.tif 000005
【図３】
0005557791.tif 000006
【図４】
0005557791.tif 000007
【図５】
0005557791.tif 000008