(57)【要約】【課題】  連続的に与えられる文書集合から高精度な同義タグを推定して出力する。【解決手段】  本発明は、入力文書(マイクロブログの文書集合)に付与されたタグの個数をカウントし、タグが１つだけの文書に限定して、単語とタグによる文書出現頻度（FS）と、タグを１つに限定しないで、単語とタグによる文書出現頻度（FA）を求め、FSからタグ間類似度を求め、同じく、FAからタグ間類似度を求め、２つのタグ間類似度が共に、所定の値（閾値）以上であれば同義タグと判定する。【選択図】  図１
2014052694.tif 000002
【特許請求の範囲】
【請求項１】
連続的に与えられる入力文書から、同じ意味で用いられるタグの組を出力する同義タグ抽出装置であって、
前記入力文書を一時的に保存する文書一時保存手段と、
前記入力文書に付与されたタグの個数を集計するタグ個数集計手段と、
前記入力文書を単語の集合に分割する単語分割手段と、
これまでに与えられた前記入力文書のうち、タグが1つ付与された単一タグ付文書集合において、各単語の出現時刻に基づき、該単語が出現した文書数である単一タグ付文書頻度を集計する単一タグ付文書頻度集計手段と、
これまでに与えられた前記入力文書のうち、タグが1つ以上付与されたタグ付文書集合において、各単語の出現時刻に基づき、該単語が出現した文書数であるタグ付文書頻度を集計するタグ付文書頻度集計手段と、
前記単一タグ付文書頻度と、前記タグ付文書頻度とを、記憶する文書頻度記憶手段と、
前記文書頻度記憶手段に格納された前記単一タグ付文書頻度と前記タグ付文書頻度から、2つのタグの組み合わせのそれぞれについて、同義タグスコアを計算する同義タグスコア計算手段と、
前記同義タグスコア計算手段の出力に基づいて、同義タグを出力する同義タグ抽出手段と、
を有することを特徴とする同義タグ抽出装置。
【請求項２】
前記単一タグ付文書頻度集計手段は、
各タグにおける各単語の出現時刻を重みとした指数加重移動平均値を単一タグ付文書頻度とする、
請求項１記載の同義タグ抽出装置。
【請求項３】
前記タグ付文書頻度集計手段は、
各タグにおける各単語の出現時刻を重みとした指数加重移動平均値をタグ付文書頻度とする、
請求項１記載の同義タグ抽出装置。
【請求項４】
連続的に与えられる入力文書から、同じ意味で用いられるタグの組を出力する同義タグ抽出方法であって、
文書一時保存手段と、タグ個数集計手段と、単語分割手段と、単一タグ付文書頻度集計手段と、タグ付文書頻度集計手段と、同義タグスコア計算手段と、同義タグ抽出手段と、文書頻度記憶手段と、を有する装置において、
前記文書一時保存手段が、前記入力文書を一時的に保存する文書一時保存ステップと、
前記タグ個数集計手段が、前記入力文書に付与されたタグの個数を集計するタグ個数集計ステップと、
前記単語分割手段が、前記入力文書を単語の集合に分割する単語分割ステップと、
前記単一タグ付文書頻度集計手段が、これまでに与えられた前記入力文書のうち、タグが1つ付与された単一タグ付文書集合において、各単語の出現時刻に基づき、該単語が出現した文書数である単一タグ付文書頻度を集計し、前記文書頻度記憶手段に格納する単一タグ付文書頻度集計ステップと、
前記タグ付文書頻度集計手段が、これまでに与えられた前記入力文書のうち、タグが1つ以上付与されたタグ付文書集合において、各単語の出現時刻に基づき、該単語が出現した文書数であるタグ付文書頻度を集計し、前記文書頻度記憶手段に格納するタグ付文書頻度集計ステップと、
前記同義タグスコア計算手段が、前記文書頻度記憶手段に格納された前記単一タグ付文書頻度と前記タグ付文書頻度から、2つのタグの組み合わせのそれぞれについて、同義タグスコアを計算する同義タグスコア計算ステップと、
前記同義タグ抽出手段が、前記同義タグスコア計算ステップの出力に基づいて、同義タグを出力する同義タグ抽出ステップと、
を行うことを特徴とする同義タグ抽出方法。
【請求項５】
前記単一タグ付文書頻度集計ステップにおいて、
各タグにおける各単語の出現時刻を重みとした指数加重移動平均値を単一タグ付文書頻度とする、
請求項４記載の同義タグ抽出方法。
【請求項６】
前記タグ付文書頻度集計ステップにおいて、
各タグにおける各単語の出現時刻を重みとした指数加重移動平均値をタグ付文書頻度とする、
請求項４記載の同義タグ抽出方法。
【請求項７】
コンピュータを、
請求項１乃至３のいずれか１項に記載の同義タグ抽出装置の各手段として機能させるための同義タグ抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、同義タグ抽出装置及び方法及びプログラムに係り、特に、同じ意味で利用されるタグについて、タグの共起性と、単体でタグが利用された場合の共起単語の類似度、さらには、タグの利用のされ方の時間変化に基づいて、Twitter（登録商標）などの連続的に与えられるマイクロブログの文書集合などから、高精度な同義タグを推定して出力することを実現するための同義タグ抽出装置及び方法及びプログラムに関する。
【背景技術】
【０００２】
Twitter（登録商標）などのマイクロブログは、更新の容易さと、そのリアルタイム性の高さから大きく普及し、新たな情報基盤として発展を続けている。
【０００３】
このような状況の中で、日々生成される膨大な情報量の中から、利用者にとって有益な情報のみを収集する需要が高まっている。現在では、ユーザが自発的に付与するタグにより、話題を明示的に表現しグループ化する手段の利用が広がっている。たとえば、子育てに関する文書に#ikujiや#kosodateというタグを付与して、他のユーザが自分の投稿した文書を見つけやすくすることができる。
【０００４】
しかし、タグの利用はユーザの自発的な行動に任せられているため、同じ子育てに関するタグでも、#ikuji、#kosodate、#育児といったように同じ意味で用いられる同義タグが何種類も存在し、これらのタグが同じ意味を指しているものかを精度よく判定する手段は存在しない。同義タグを精度よく判定できれば、膨大な量の文書を精度よく整理できるので、情報検索の分野で大きな貢献が可能となる。
【０００５】
同義性を持つ単語の出現状況と異なる同義タグの特徴として、「同義タグは同一の文書中で共起しやすい」という点が挙げられる。これは、タグを付与するユーザが、他のユーザに見つけて貰いやすくするため、意図的に同じ意味を持つタグを複数個付与するからである。従来のテキストからの同義単語の推定技術（例えば、特許文献1、非特許文献1参照）では、この特性を考慮しないため、タグの同義性について精度のよい推定ができない。
【０００６】
また、リアルタイム性の高いメディアであるため、「ある時間帯のみ2つのタグが同義である」ということがある。たとえば、あるテレビ番組が放映されている時間帯に限っては、そのテレビ番組に関するタグと、番組を放映しているテレビ局のタグが高い同義性を持つ。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開2007-164635号公報
【非特許文献】
【０００８】
【非特許文献１】P.P. Senellart, V. D. Blondel, Automatic discovery of similar words, Survey of Text Mining: Clustering, Classification, and Retrieval, M. W. Berry, Springer, (2003/08).
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記のように、現在は、タグの共起性と、タグの性質の時間変化を両方考慮して、マイクロブログのタグの同義性推定を高精度に行う技術は存在しない。
【００１０】
本発明は、上記従来技術の問題点に鑑みて、複数個のタグが付与された文書における、タグと単語の共起関係（各タグにおける単語の文書頻度集合）と、単一のタグのみが付与された文書におけるタグと単語の共起関係とを、最近の単語出現情報に強い重みを付けて考慮し、2つの文書頻度情報に基づいてそれぞれ類似度を計算して同義タグの推定に利用することで、同義タグの共起性の高さと、同義タグが単体で利用されたときの利用状況の近さと、タグが示す情報の時間変化を同時に考慮し、タグの同義性について高い推定性能を持つマイクロブログ同義タグ抽出装置及び方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するため、本発明（請求項１）は、連続的に与えられる入力文書から、同じ意味で用いられるタグの組を出力する同義タグ抽出装置であって、
前記入力文書を一時的に保存する文書一時保存手段と、
前記入力文書に付与されたタグの個数を集計するタグ個数集計手段と、
前記入力文書を単語の集合に分割する単語分割手段と、
これまでに与えられた前記入力文書のうち、タグが1つ付与された単一タグ付文書集合において、各単語の出現時刻に基づき、該単語が出現した文書数である単一タグ付文書頻度を集計する単一タグ付文書頻度集計手段と、
これまでに与えられた前記入力文書のうち、タグが1つ以上付与されたタグ付文書集合において、各単語の出現時刻に基づき、該単語が出現した文書数であるタグ付文書頻度を集計するタグ付文書頻度集計手段と、
前記単一タグ付文書頻度と、前記タグ付文書頻度とを、記憶する文書頻度記憶手段と、
前記文書頻度記憶手段に格納された前記単一タグ付文書頻度と前記タグ付文書頻度から、2つのタグの組み合わせのそれぞれについて、同義タグスコアを計算する同義タグスコア計算手段と、
前記同義タグスコア計算手段の出力に基づいて、同義タグを出力する同義タグ抽出手段と、を有する。
【００１２】
また、本発明（請求項２）は、前記単一タグ付文書頻度集計手段において、
各タグにおける各単語の出現時刻を重みとした指数加重移動平均値を単一タグ付文書頻度とする。
【００１３】
また、本発明（請求項３）は、前記タグ付文書頻度集計手段において、
各タグにおける各単語の出現時刻を重みとした指数加重移動平均値をタグ付文書頻度とする。
【発明の効果】
【００１４】
上記のように構成された請求項１記載の同義タグ抽出装置によれば、入力文書に含まれるタグの同義性について、タグが複数個付与された文書と、タグが一つのみ付与された文書を区別し、同義タグの共起性の高さと、同義タグが単体で利用されたときの利用状況の近さと、タグが示す情報の時間変化を同時に考慮してタグの同義性推定を行うので、高い推定性能が実現できる。
【図面の簡単な説明】
【００１５】
【図１】本発明の一実施の形態における同義タグ出力装置の構成図である。
【図２】本発明の一実施の形態における同義タグ出力装置のフローチャートである。
【図３】本発明の一実施の形態における文書頻度記憶部の記憶例である。
【図４】本発明の一実施の形態における同義タグ出力装置の出力例である。
【発明を実施するための形態】
【００１６】
以下、図面と共に本発明の実施の形態を説明する。
【００１７】
図１は、本発明の一実施の形態における同義タグ抽出装置の構成を示す。
【００１８】
同図に示す同義タグ抽出装置は、文書一時保存部１とタグ個数集計部２と単語分割部３と単一タグ付文書頻度集計部４とタグ付文書頻度集計部５と同義タグスコア計算部６と同義タグ出力部７、文書頻度記憶部８から構成され、連続的に与えられるマイクロブログの文書から、同じ意味で用いられる同義タグを発見し、出力する。
【００１９】
図２は、本発明の一実施の形態における同義タグ抽出装置の学習動作フローチャートである。
【００２０】
ステップ１）文書一時保存部１は、入力文書を一時的に保存し、入力文書が投稿された時刻をｔに更新して、処理文書集合に加える。時間間隔ΔＴごとに、該処理文書集合をタグ個数集計部２に渡し、文書一時保存部１の内容をクリアし、tにΔＴ秒加算する。ΔＴには、たとえば、600秒を指定する。なお、ｔの初期値は最初に受け取った入力文書の投稿時刻とする。
【００２１】
ステップ２）タグ個数集計部２は、文書毎に付与されたタグ個数を集計する。このとき、タグが一つも付与されていない文書を前記処理文書集合から削除する。また、タグが数多く付与された文書はスパム（内容と関係のないタグを付与する行為）である場合があるため、Ｎ個以上タグが付与された文書も前記処理文書集合から削除する、としても良い。このとき、Ｎには4などを指定する。
ステップ３）単語分割部３は、各入力文書を単語集合に分割する。このとき、形態素解析器を用いて名詞、動詞、形容詞の単語のみを抽出し前記単語集合とする。また、他品詞の単語を前記単語集合に加えてもよい。さらに、形態素解析を実施する代わりに、入力文書に含まれる全ての文字nグラム（連続するn文字）を前記単語集合としても良い。
【００２２】
ステップ４）単一タグ付文書頻度集計部は４、前記処理文書集合に含まれる各タグc、単語wについて、タグが一つだけ付与された文書集合中における、指数加重移動平均文書頻度FS(w,c)を以下の通り更新し、文書頻度記憶部８に格納する。
【００２３】
【数１】
2014052694.tif 000003
ここで、fS(w,c)は、処理文書集合中における、単語wを含み、タグcのみが付与された文書数である。TS(w,c)は、単語wを含みタグcのみが付与された文書が最後に出現した時刻である。ｔは、前記処理文書集合に含まれる文書が投稿された時刻を示す。このとき、Fs(w,c)は最近のデータに強い重みを与えた指数加重移動平均による、1単位時間（ΔT）あたりの文書頻度の推定となる。この推定手法によって、過去に出現したが現在ではほとんど出現しない単語が、同義タグの推定に与える悪影響を低減できる。減衰定数λの値には0.01などを用いる。
【００２４】
ステップ５）タグ付文書頻度集計部５は、前記処理文書集合に含まれる各タグc、単語wについて、指数加重移動平均文書頻度FA(w,c)を以下の通り更新し、文書頻度記憶部８に格納する。
【００２５】
【数２】
2014052694.tif 000004
ここで、fA(w,c)は、処理文書集合中における、単語wを含みタグcが付与された文書数である。TA(w,c)は、単語wを含みタグcが付与された文書が最後に出現した時刻である。
【００２６】
図３に文書頻度記憶部８への格納例を示す。各タグc、各単語wについて、単一タグ文書頻度FS(w,c)、最終出現時刻（単一）TS(w,c)、タグ付き文書頻度FA(w,c)、最終出現時刻TA(w,c)を記憶する。なお、TS(w,c) 、TA(w,c)はΔT間隔の値を取るものとする。ステップ４、ステップ5の更新方法と、図３の格納方法を採用することにより、本実施形態では全てのタグと単語の更新が不要で、処理文書集合に出現したタグと単語のみを更新すれば良い。
【００２７】
また、単一タグ文書頻度FS(w,c)、タグ付き文書頻度FA(w,c)は、直近T'の間に単語wを含みタグcが付与された文書数と定義しても良い。このとき、T'=1日などとする。
【００２８】
ステップ６）同義タグスコア計算部は、まず、タグの組(c1,c2)に対して単体類似スコアSS(c1,c2)をコサイン類似度に基づき、以下の通り計算する。
【００２９】
【数３】
2014052694.tif 000005
ここで、WS(c1)は、c1のみが付与された文書に出現する単語集合である。なお、SS(c1,c2)はピアソンの相関係数などを用いて計算しても良い。
【００３０】
同様に、タグの組(c1,c2)に対して共起類似スコアSA(c1,c2)をコサイン類似度に基づき、以下の通り計算する。
【００３１】
【数４】
2014052694.tif 000006
ここで、WA(c1)は、c1のみが付与された文書に出現する単語集合である。なお、SA(c1,c2)はピアソンの相関係数などを用いて計算しても良い。
【００３２】
ステップ７）タグの組(c1,c2)に対して、以下の条件を満たした時に、c1とc2は同義であると出力する。
【００３３】
【数５】
2014052694.tif 000007
ここで、閾値パラメータθs、θAには、それぞれ0.9、0.7などを設定する。
【００３４】
図４に同義タグの出力例を示す。"seiji"と"政治"、"eiga"と"映画"など、同義であるタグの組に対して、高い単体類似スコアと共起スコアが与えられていることが分かる。また、"fm"と"zanmai"など、推定した時刻においては同義性が高いタグの組についても正しく推定できている。（時間によって同義性が変わるタグを出力から除きたい場合には、λを0.00001など非常に小さい値とすれば良い）
また、"ニュース"と"東京"など、タグ共起の頻度は高いが同義ではないタグの組に対しては単体類似スコアが低くなるため、精度よく同義のタグの組のみを出力することができる。
【００３５】
本発明は、どのような文書に対しても適用可能であるが、特に、Twitter（登録商標）などのリアルタイム性の高いマイクロブログの文書の分類に対して特に有効である。
【００３６】
また、本発明は、図１に示す構成要素の動作をプログラムとして構築し、マイクロブログ文書分類装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。
【００３７】
また、構築されたプログラムをハードディスクやフレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。
【００３８】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
【産業上の利用可能性】
【００３９】
本発明は、連続的に与えられる入力文書から、同じ意味を持つタグの組を出力可能な手法であり、情報検索の支援、文書整理などに利用可能である。
【符号の説明】
【００４０】
１  文書一時保存部
２  タグ個数集計部
３  単語分割部
４  単一タグ付文書頻度集計部
５  タグ付文書頻度集計部
６  同義タグスコア計算部
７  同義タグ出力部
８  文書頻度記憶部
【図１】
2014052694.tif 000008
【図２】
2014052694.tif 000009
【図３】
2014052694.tif 000010
【図４】
2014052694.tif 000011