DEIM Forum 2018 B5-3

バースト現象検出のための Tweet Pooling による潜在トピック推移の抽出
福山 怜史†

若林啓††† 筑波大学大学院 図書館情報メディア研究科 〒 305–8550 茨城県つくば市春日 1-2†† 筑波大学 図書館情報メディア系 〒 305–8550 茨城県つくば市春日 1-2
E-mail: †s1721691@s.tsukuba.ac.jp, ††kwakaba@slis.tsukuba.ac.jp
あらまし Twitter において流行している話題を抽出することは，現実世界で流行している話題を抽出する上で重要なアプローチである．Twitter における流行に関連のある話題を抽出するためには，話題の抽出とその話題の出現頻度の推移を捉える必要がある．このためのアプローチとして，Latent Dirichlet Allocation (LDA) に対してトピックの時間発展を考慮した推論アルゴリズムを利用する手法が提案されている．しかし，バースト現象のような突発的かつ短期間にのみ発生する流行現象は，時間発展を考慮した推論アルゴリズムによる恩恵が得られないため，通常の LDA を用いた手法の方が計算効率性が高いと考えられる．本研究では，時間発展を考慮したアルゴリズムを使用せずに，TweetPooling の拡張によって．潜在的なトピックの推移の抽出を行う手法を提案する．提案手法では，ハッシュタグと単位時間ごとに Tweet Pooling を行なった擬似文書を用いて，LDA による学習を行う．学習後は，各時刻における擬似文
書のトピックの割合とツイート数の積からトピックの推定ツイート数を計算し，その値からバースト現象の検出を行う．本稿では，2012 年 8 月 1 日から 8 月 7 日までのツイートデータからトピックとその推定ツイート数を抽出し，トピックごとのバースト検出を行った．この結果，提案手法によってバースト検出されたトピックの一部が現実世界で発生した事象と対応し，事象の発生時刻とトピックのバースト現象が一致していたことを報告する．
キーワード Twitter，バースト現象，潜在トピック推移，LDA，Tweet Pooling，ハッシュタグ

1. は じ め にたトピックモデルにおいて，文書中の単語のトピックをベイズ推定によって求める確率的生成モデルである．この LDA に対Twitter は，現実世界で起こった事象に対してユーザがリアルして，トピックごとの単語分布およびトピック分布の時間発展タイムにツイートを投稿する性質から，現実世界を知覚するセを捉えるモデルが DTM である．Koike ら [8] は，DTM を用いンサとしての利用が期待されている．例えば，2011 年 3 月 11て，大量のニュース記事やツイートからトピックとそれらの時日に発生した東日本大震災では，東京都において，地震発生か間的推移を抽出し，個々のトピックにおいてニュース記事やツら 1 時間以内に毎分 1,200 件以上のツイートが投稿されたことイートがバーストしているか検出する手法を提案している．

が報告されている [1]．また，近年では，Twitter からの評判情

このように Twitter のような時間情報が付与されたテキスト

報抽出 [2] や病気の流行予測 [3] といった手法の有効性が確認さデータに対して潜在的なトピックの変化を推定する場合，DTMれており，Twitter ユーザが現実世界の事象に対して敏感に反応を用いた手法は有効であると考えられる．一方で，DTM ではすることが分かる．

LDA に対して新たにパラメータを加えるため，モデルが複雑化

このような特徴から，Twitter の投稿の傾向を分析することし，計算量が増加する可能性が考えられる．LDA には，モデルで，現実世界で起きた出来事や流行している話題を抽出する手特有の性質に依存した高速な推論アルゴリズムとして確率的変法が研究されている [4] [5] [6] [7] [8]．これらの手法では，局所分ベイズ法 [11] があり，トピック数の増加に対して計算時間が的な時間で話題の出現頻度が急激に増加する “バースト現象” を劣線形である．Koike らの手法をツイートデータに適用する場検出することで，出来事や流行の抽出を行う．このようなバー合，ツイートデータに含まれるトピック数は，ニュース記事とスト現象が発生している状態を本稿では，“バーストしている”比較してより多くの潜在トピック数が存在する可能性があるたと表記する．このようにバーストしている話題を抽出し，それめ，トピック数の影響を受けない LDA の確率的変分ベイズ法

を分析することは，現実世界の事象の調査や，特定の人物や商を用いることが望ましい．

品の評判分析などにおいて有用である．
バースト現象を検出するためには，特定の話題に対応するツ本研究では，ツイートデータから潜在的なトピックの変化を推定する際に，時間発展を考慮したアルゴリズムを使用しないイート数の推移データを用意する必要がある．Twitter のような手法を提案する．提案手法では，Tweet Pooling の手法の拡張に大量のテキストデータにおける話題とその話題の推移を抽出す

よって，潜在的なトピックの推移の抽出を行う．Tweet Poolingる手法として，Latent Dirichlet Allocation (LDA) [9] を時系列変とは，LDA の手法自体を変更せずに，類似性のある複数のツ化に対応させた Dynamic topic model (DTM) [10] がある．LDAイートを結合した擬似文書を作成する方法である．本研究では，とは，単一の文書には複数のトピックが含まれることを仮定しTweet Pooling の一つである Hashtag Pooling によって作成された擬似文書に対して，単位時間ごとに擬似文書を分割した新たDynamic topic model(DTM) [10] が提案されている．DTM では，な擬似文書を用いて，LDA の学習を行う．学習後はそれぞれのLDA に対して，トピックごとの単語分布およびトピック分布に擬似文書におけるトピックの推論を行い，それぞれの擬似文書時間マルコフ性を導入することによって，それらの時間発展をに対応するトピックの割合とツイート数の積を計算して，その捉えることを目的としている．時間発展させるパラメータは，積を擬似文書内におけるトピックの推定ツイート数とみなす．

トピックの流行り廃りを制御する α とトピックごとの単語分そして，各時刻におけるそれぞれのトピックの出現数を合計し布を表す β であり，一時刻分のパラメータ遷移は正規分布を用た結果を得る．この結果得られたトピックの推移データに対しいてモデル化されている．Blei らは，DTM によって，科学誌て，バースト検出を行うことにより，トピックのバースト時刻Science に掲載された論文の時系列トピック解析を行い，異なを求めることができる．以上の手法により，DTM を用いるこる科学的テーマを含んだトピックおよびそのトピックで用いらとなく潜在的なトピックの推移とバースト時刻を得ることがでれる単語の傾向が確認できることを報告している．

きるため，LDA と同程度の計算コストで Twitter における話題の獲得と話題のバースト検出を行うことができる．

Iwata らは，複数の時間スケールでのトピックの発展を解析する Multiscale Dynamic Topic Model(MDTM) [17] を提案して本稿では，提案手法を用いて，2012 年 8 月 1 日から 8 月 7いる．MDTM では，同一トピックにおいても出現する単語は時日に発生した現実世界の事象に対応するトピックの抽出とそれ間スケールによって異なる性質を考慮したトピックモデルであらのトピックの推移の抽出とバースト検出を行った．この結果，る．DTM と比較した場合，MDTM で考慮するスケール数を 1提案手法によってバースト検出されたトピックの一部が現実世つとした場合がこれと対応している．実験の結果，MDTM はス界で発生した事象と対応し，事象の発生時刻とトピックのバーケール数を増加させることにより，モデルの平均パープレキシスト現象が一致していたことを報告する．

ティが減少していることを確認し，複数の時間スケールの分布

2. 関 連 研 究を考慮することの重要性を報告している．DTM や MDTM はオンライン学習可能なモデルであるため，モデルの長期的な利用

本研究に関連して，バースト現象に関する研究と潜在トピッを行うケースに適している．本研究では，Twitter における話題ク推移の抽出に関する研究，マイクロブログからのトピック抽のバースト現象の検出を目的としているため，DTM や MDTM出に関する研究がある．のような話題の時間発展を捉えることを目的とした手法は不適

2. 1 バースト現象に関する研究

当であると考え，通常の LDA における前処理と後処理を工夫

まずバースト検出において著名な手法の一つである Kleinberg

することによって目的の達成を図っている．のバースト解析 [12] がある．この手法は，時系列データに対し

2. 3 マイクロブログからのトピック抽出に関する研究て定常状態とバースト状態を確率的オートマトンによってモデ個々のツイートにおいて文字数の制限によって語彙が豊富でル化したもので，それぞれの状態において異なるパラメータをない問題を解決するために，Mehrotra ら [18] は Tweet Pooling持つポアソン分布を仮定している．しかし，Twitter のような過を提案している．Tweet Pooling は，関連性のあるツイートを結去の情報が現在の情報に影響を与えるようなメディアにおいて合した擬似文書を作成し，これらの文書を LDA の入力文書とは，ツイート数のような時系列データがポアソン分布に従ってする手法である．代表的な Tweet Pooling は，ユーザ，単位時いるケースは稀であるため，このような仮定のない柔軟な手法

間，バーストした語，ハッシュタグごとにツイートを分類し，が適当だと考えられる．

それぞれのグループでツイートを結合する手法である．大量の次に，Twitter におけるバースト現象の分析を行った研究としツイートから話題の抽出を行う場合，擬似文書は特定の話題をて，水沼ら [4] の研究がある．水沼らは，Twitter におけるバース示している必要があるため，特定の話題を示すタグであるハットの特徴を分析し，その特徴ごとにバーストの類型化を行なっシュタグごとにツイートを結合することが望ましい．Mehrotraている．水沼らはツイートのバースト検出手法を選択するため

らは，実験によりハッシュタグごとにツイートを結合して擬似に，バースト現象を出現頻度の外れ値とみなし，外れ値検知手文書を作成する Hashtag Pooling が，クラスタリングおよびト法である ROKU [13], 3σ 法, 増山の検定 [14], MAD 法 [15] [16]ピックの一貫性という観点において最も良い結果であったと報の比較を行なっている．この比較では，1 度のバースト現象を告している．

複数のイベントとみなすことがないか，4 手法で共通して得らまた関連した手法として，Tsur ら [19] の提案する事象ごとれる確信度の高いバースト現象がどれぐらい多く検出できるかにハッシュタグをクラスタリングする手法がある．ここでは，を評価している．この結果，3σ 法が，バースト平均継続時間ハッシュタグごとに当該のハッシュタグを含むツイートを全てが最も長く，また 4 手法がいずれもバースト現象として検出し結合した擬似文書を作成し，その擬似文書をクラスタリングたハッシュタグの集合との一致率が最も高いことから，4 手法する手法を提案している．Tsur らは，特徴ベクトルの作成にの中で最も理想的な手法であるとしている．3σ 法は，データ

TF-IDF ベクトルやハッシュタグの共起ベクトルを用いており，の分布を仮定しない異常検知の手法であることから，本研究でクラスタリング手法には k-means 法を用いている．このほか，

はバースト現象の検出手法に 3σ 法を用いることとする．

井上ら [20] が，Tsur らが英語で行なったハッシュタグのクラス

2. 2 潜在トピック推移の抽出に関する研究

タリングが日本語でも適用できること，福山ら [21] はバースト潜在トピック推移の抽出に関する研究として，Blei らによる現象が観測されたハッシュタグでクラスタリングを行うことによってバーストしている話題に関連するハッシュタグクラスタ

3. 3 トピックのバースト検出とバースト時刻の獲得
3. 2 節 の 方 法 に よって 得 ら れ た 時 系 列 デ ー タ Nkが獲得できることを報告している．
本研究では，ツイートをハッシュタグごとに分類し，結合する Hashtag Pooling を手法の一部に採用し，Hashtag Pooling された擬似文書をさらに単位時間ごとに分割した文書を LDA に学習させる．

=(N1,k , N2,k , · · · , Nt,k , · · · N|T |,k ) に対して，以下の条件式を満たす
時刻 t をバースト時刻とする．
√Nt,k > E[Nk \t ] + 3 V[Nk \t ](4)

本研究では，時系列の単位を 1 日とし，当該時刻 t 以外の3. 提 案 手 法

データから平均と標準偏差を求め，3σ 法による閾値を計算す

本研究では，ツイートデータをハッシュタグおよび単位時間る．ここで時系列の単位を 1 日にした理由は，ツイート全体のごとに分類して結合させた擬似文書を LDA に学習させ，学習投稿数が増加しやすい時間帯では誤ってバースト検出される可後は各擬似文書に対してトピック分布の推論を行う．次に，各能性があるためであり，この問題を考慮する現状の制約として擬似文書に対応するツイート数とトピックの分布の積を各擬似この単位を設定している．次に 3σ 法によるバースト検出では，文書におけるトピックの推定ツイート数とする．最後に，各時過去の出現頻度が 0 の場合，推定ツイート数が 1 ツイートでも刻におけるトピックごとの推定ツイート数を合計したものを当観測されればバースト検出されてしまう問題がある．例えば，

該時刻におけるトピックの推定ツイート数とする．この結果得

Nk =(0, 0, 0, 0, 0) の時系列データが与えられた場合，推定ツイーられた時系列データに対して，3σ 法を適用することによってト数が 1 ツイートであってもバースト現象と検出される．した

バースト現象の検出およびバースト現象が発生した時刻の獲得

がって，本研究ではバースト現象の検出の際に，トピックの推を行う．以上のアプローチによって，Twitter における潜在的ト定ツイート数の下限を設ける．予備実験を行なった結果，直感ピックの推移を時系列形式の推定ツイート数として獲得する．

的に下限が低すぎず十分なトピックが検出された推定ツイート

この推定ツイート数の時系列データからバースト検出を行い，数の下限 100 を設ける．

バースト時刻を求める．提案手法では，LDA の推論アルゴリズムとして確率的変分ベイズ法 [11] を用いる．

3. 1 擬似文書の作成

4. 評 価 実 験
本研究では，Koike らの手法と同様にツイートデータから抽

時刻 t におけるハッシュタグの集合を Ht とする．ここでは，Ht による擬似文書を LDA の学習データとする．

出したトピックの中から，バーストしているトピックの検出を行なっている．バースト現象は現実世界の事象に対してリアルトピックモデルの学習データに用いるハッシュタグの擬似文タイムに発生すると考えられるため，提案手法によってバース書の表現方法として，共起する単語の Bag of words を用いる．

ト現象が検出されたトピックと現実世界で発生している事象が期間 T における時刻を t とする．ある時刻 t におけるハッシュ同定できることを確認する必要がある．そこで，実際のツイータグ ht ∈ Ht が出現するツイートの集合を Dht とする．ツイー

トデータに対して提案手法で得られたバーストしているトピッ

ト dht ∈ Dht に語彙 wi が出現する頻度を t f (wi , dht ) と表すと，時クが，当該期間にて発生した現実世界の事象と共起しているか

刻 t におけるハッシュタグ ht と共起する単語の頻度は以下のよ確認を行った．

うに定義される．
∑t f (wi , ht ) =t f (wi , dht )4. 1 LDA の設定(1)

dh ∈Dht以上の方法で全てのハッシュタグにおける語の出現頻度をLDA の学習データとする．
擬似文書に対応する LDA によって推論されたトピック k ∈ Kの分布を θht = (θht ,1 , θht ,2 , · · · θht ,k , · · · , θht ,|K| ) とする．ht におけるトピック k の推定ツイート数 Nk,ht は (2) によって計算される．

(2)計算された推定ツイート数 Nk,ht を基に，時刻 t におけるトピック k の推定ツイート数 Nt,k を (3) によって計算する．
∑Nt,k =Nht ,k(3)ht ∈Ht

こ の 計 算 の 結 果 得 ら れ た ト ピック k の 時 系 列 デ ー タ Nk =(N1,k , N2,k , · · · , Nt,k , · · · N|T |,k ) を期間 T におけるトピック k の推定ツイート数とする．

ことを目的として，LDA の学習データである擬似文章および擬似文書に出現する語彙に以下の制約を設ける．
（ 1 ） 語彙の品詞は固有名詞，普通名詞，サ変接続の名詞

3. 2 単位時間における推定ツイート数の計算

Nht ,k = Nht · θht ,k本研究の検証では，特徴量ベクトルの次元数が膨大になることを防ぎ，かつ，特定の話題を表す傾向の強い品詞に限定するのみ（ 2 ） 語彙の文字列長は，漢字は 1 字以上，ひらがな，カタカナ，数字，記号では 2 字以上（ 3 ） リツイートを示す「RT」，URL，リプライを示す「@ユーザ名」の文字列は無視（ 4 ） 任意の時刻において (1) から (3) の条件を満たす語彙を含むツイート数が 10 以上のハッシュタグ，10 未満の場合は当該時刻においてそのハッシュタグは考慮しない
各パラメータの設定については，トピック数が 10,000，イテレーション回数が 1,000 回，ミニバッチサイズが 1,000 とする．

4. 2 実験データ及び環境
4. 1 節で示した条件を満たすハッシュタグは，2012 年 8 月 1日から 2012 年 8 月 7 日の間に存在したハッシュタグ 965,369

表 3 バースト時刻における各ハッシュタグの推定ツイート数

表 1 提案手法によって得られるトピックの例
トピック

単語 | ϕk,wα

1 0.009 体操

0.319 内村

ハッシュタグ | 推定ツイート数

トピック

0.208 演技 0.043 競技

1 体操

5,440 オリンピック 4,258 olympic

2 オリンピック 3,888 競泳

3,430 olympic

975 mitazo

964

502 水泳308

2 0.008 北島

0.127 競泳

0.116 介3 0.007 広島

0.472 野田

0.087 黙祷 0.041 投下

0.031

4 daihyo

6.880 オリンピック 5,522 サッカー 4,560 なでしこ

4 0.004 エジプト 0.128 ブラジル 0.126 永井 0.094 吉田

0.067

5 nhk news

4,771 2ch

5 0.003 浜田

0.149 死去

0.079 康

0.031
0.071

3 広島

472 原爆374 twitr
627 news

374 IWJ HIROSHIMA2266
2,426615 niconews

467

0.141 幸一 0.135 衆議院 0.087

表 4 トピックと対応する現実世界の事象
表 2 トピックの推定ツイート数の推移とバースト時刻
トピック

1日

8月2日

8月2日

2 ロンドン五輪男子平泳ぎ北島康介氏 4 位入賞

8月2日

9,403 1,757 2,463

8月2日

3 広島原爆の日 平和記念式典に野田佳彦氏参列

8月6日

1,134

1,370 6,602 1,603

8月6日

4 ロンドン五輪男子サッカー準々決勝 日本対エジプト戦

8月4日

5,333 1,141 37,554

5,506 1,058 4,061

8月4日

5 浜田幸一氏逝去

8月5日

4日

5日

1 4,412 24,011 3,793

1,981

4,950 2,843 2,244

2 4,685 11,708 5,156

1,351

3

4 1,1175272

発生時刻 (日)1 ロンドン五輪男子体操個人総合

3日

830

トピック 事象2日

849 1,247841

599

6日

332 10,954 1,119

7 日 バースト時刻 (日)

541

8月5日

種類中 40,851 種類，各ハッシュタグのコーパスに用いるツイー
トはハッシュタグと同様の期間に発生した 26,639,495 ツイート
中 17,294,548 ツイート，擬似文書数は 117,547 であった．また計算時間は，ツイートデータの学習で 101 分，合計 143 分であった．
実験環境は，OS が Ubuntu 16.04，CPU が Intel Xeon E5-2630(2.40GHz)8core 2 機，また，実装は Python および Java で行った．形態素解析器は MeCab [22]，LDA は Mimno ら [11] の確率的変分ベイズ法を Java によって実装した．

5. 実 験 結 果

図 1 ハッシュタグと Twitter で流行している話題の関係

実験データから提案手法によって得られたトピックの一部を
表 1 に示す．表 1 に示すトピックは当該期間においてバースト界の事象を表 4 に示す．このように提案手法では，バースト現象が検出されたトピックであり，同様にバースト現象が検出しているトピックの情報として，トピック内で出現しやすい単されたトピックは 10,000 トピック中 647 トピックであった．α語，バーストした時刻，トピックが割り当てられたハッシュタ

は各文書におけるトピック分布の事前分布であるディリクレ分グといった多様な情報を，図 1 に示すことによって，事象の特布のハイパーパラメータであり，全体で比較した際のトピック定を行うことができる．したがって Koike らや Tsur ら，井上の出現のしやすさとみなすことができる．また ϕk,w は，トピッら，福山らの提案する手法と比較して，トピックに関する情報

ク k における語 w の出現する確率であり，この確率の高い上位が豊富でありトピックの解釈がユーザにとって容易になると考4 語を表 1 に示している．

えられる．

次に，表 1 のトピックの推定ツイート数の推移とバースト時刻を表 2 に示す．バースト時刻においては，いずれのトピックも突出した推定ツイート数となっており，この時刻においてトピックでバースト現象が発生していることがわかる．

6. お わ り に本研究では，LDA のアルゴリズムを変更せずに，Tweet Pool-ing の拡張によって，潜在的なトピックの推移の抽出を行う手

この結果をもとに，バースト時刻において当該トピックに関法の考案を行った．実際に提案手法を用いて，2012 年 8 月 1 日

する推定ツイート数の多い上位 4 つのハッシュタグを表 3 に示から 8 月 7 日に発生した現実世界の事象に対応するトピックのす．トピック 1,2,4 では，共通してオリンピックに関連するハッ抽出とそれらのトピックの推移の抽出とバースト検出を行った．

シュタグである “オリンピック” や “olympic” が割り当てられてこの結果，LDA の高速な推論アルゴリズムが利用できるとともいる．またトピック 3 では，“広島” や “原爆” など単語としてもに，トピックに出現しやすい語，バースト時刻，トピックが割共起しやすい語がハッシュタグが割り当てられている．トピッり当てられたハッシュタグといったトピックに関する豊富な情ク 5 では， ϕk,w の高い語とは異なり，ニュースに関連するハッ報から，容易に現実世界の事象との関係性を分析できることがシュタグが割り当てられている．以上の結果から，トピックにわかった．

対応する単語とハッシュタグは同様の傾向がある語の他に異な今後の課題として，提案手法の有効性を一部のトピックの主る傾向を示すことがわかる．この性質を利用することによって，観的評価のみで行っている点が挙げられる．そのため，全ての単語とハッシュタグによる多面的なトピックの解釈が可能となトピックに対して，現実世界の事象と対応しているか確認を行ると考えられる．

う必要がある．また提案手法のベースラインとなる推論アルゴ実験結果から，トピックと関連性があると考えられる現実世リズムを DTM に変更した場合のトピックおよび処理時間の比較も行う必要がある．

謝

辞本研究の一部は，JSPS 科研費（課題番号 16H02904）および筑波大学図書館情報メディア系プロジェクト研究の助成によって行われた．

文

献[1] Harry Wallop. Japan earthquake:how twitter and facebook helped.
The Telegraph, 3 2011.
[2] 芥子育雄, 鈴木優, 吉野幸一郎, 大原一人, 向井理朗, and 中村哲. 単語・パラグラフの分散表現を用いた twitter からの日本語評判情報抽出. In 第 8 回データ工学と情報マネジメントに関するフォー
ラム, 2016.
[3] 荒牧英治, 増川佐知子, and 森田瑞樹. 事実性判定を用いたインフルエンザ流行予測. In 研究報告音声言語情報処理, volume
2011-SLP-86, pages 1–8, 2011.
[4] 水沼友宏. Twitter におけるバーストの生起要因と類型化に関する分析. Master’s thesis, 筑波大学, 2014.
[5] Diao, Qiming, Jiang, Jing, Zhu, Feida, and Ee-Peng Lim. Finding bursty topics from microblogs. In Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics, pages
536–544, 2012.
[6] Y. Du, W. Wu, Y. He, and N. Liu. Microblog bursty feature detection
based on dynamics model. In International Conference on Systemsand Informatics, pages 2304–2308, 2012.
[7] DONG Guozhong, LI Ruiguang, YANG Wu, WANG Wei, GONG
Liangyi, SHEN Guowei, YU Miao, and LV Jiguang. Microblog burst
keywords detection based on social trust and dynamics model. Chinese Journal of Electronics, 23(4), 2014.
[8] Daichi Koike, Yusuke Takahashi, Takahito Utsuro, Masaharu Yoshioka, and Noriko Kando. Time series topic modeling and bursty topic
detection of correlated news and twitter. In International Joint Conference on Natural Language Processing, pages 14–18, 2013.
[9] Michael I. Jordan David M. Blei, Andrew Y. Ng. Latent dirichlet allocation. Journal of Machine Learning Research, 3:993–1022, 2003.
[10] David M.Blei and John D.Laﬀerty. Dynamic topic models. In ICML
’06 Proceedings of the 23rd international conference on Machinelearning, pages 113–120, 2006.
[11] D. Mimno, M.D. Hohhman, and D.M. Blei. Sparse stochastic inference for latent dirichlet allocation. In the 29th International Conference on Machine Learning, 2012.
[12] J. Kleinberg. Bursty and hierarchical structure in streams. Data Mining and Knowledge Discovery, 7(4):373 – 397, 2003.
[13] Yuji Nakai Shimizu Tohru Kentaro Shimizu Koji Kadota, Ye Jiazhen.
Roku: An improved method for the detection of tissue-specific expression patterns. BMC Bioinformatics, 2006.
[14] 石川栄介. 棄却検定の比較表. 岩手大学学芸学部研究年報, 15(2):1–7, 1960.
[15] Smeeton Niqel A Sprent Peter. Applied nonparametric statisticalmethods. Chapman and Hall, page 480, 1993.
[16] Sprent Peter. Data driven statistical methods. Chapman and Hall,
page 406, 1997.
[17] Tomoharu Iwata, Takeshi Yamada, Yasushi Sakurai, and Naonori
Ueda. Online multiscale dynamic topic models. In KDD ’10 Proceedings of the 16th ACM SIGKDD international conference on
Knowledge discovery and data mining, pages 663–672, 2010.
[18] Wray Buntine Lexing Xie Rishabh Mehrotra, Scott Sanner. Improving lda topic models for microblogs via tweet pooling and automaticlabeling. In SIGIR’13, 2013.
[19] Oren Tsur, Adi Littman, and Ari Rappoport. Eﬃcient clustering of
short messages into general domains. In International Conference onWeblogs and Social Media (ICWSM), 2013.
[20] 井上優作 and 若林啓. 表記の多様性を考慮したハッシュタグ推薦.
In 第 14 回日本データベース学会年次大会, 2016.

[21] 福山 怜史 and 若林啓. バースト現象を考慮したハッシュタグのクラスタリング手法の提案. 研究報告情報基礎とアクセス技術（IFAT）, pages 1–6, 2017.
[22] Taku Kudo, Kaoru Yamamoto, and Yuji Matsumoto. Applying conditional random fields to japanese morphological analysis,. In Proceedings of the 2004 Conference on Empirical Methods in NaturalLanguage Processing (EMNLP-2004), pages 230–237, 2004.