DEIM Forum 2014 A5-2

Twitter 上での多言語ジャーナリズムの実現に向けたシステムの試作
白川 真澄†

原隆浩†

西尾章治郎†† 大阪大学大学院情報科学研究科 〒 565–0871 大阪府吹田市山田丘 1–5
E-mail: †{shirakawa.masumi,hara,nishio}@ist.osaka-u.ac.jp
あらまし メディアやジャーナリストが報じる内容やその偏向は国によって大きく異なるが，言語の壁の存在により，他国の報道内容を人々が目にする機会は少ない．しかし，他国の実情を知るためには，その国で実際にどのような報道が行われているかを知ることが重要である．本稿では，多言語ジャーナリズム実現の第一歩として，世界各国のメ
ディアやジャーナリストがリアルタイムに投稿したツイートを，任意の言語によるクエリで検索可能とする試作シス
テムについて述べる．本研究で試作したシステムでは，9ヶ国語（日本語，英語，韓国語，スペイン語，ポルトガル語，
ドイツ語，フランス語，イタリア語，アラビア語），24ヶ国のメディアおよびジャーナリストを対象としている．
キーワード

Twitter, 言語横断検索, ジャーナリズム, Wikipedia, Explicit Semantic Analysis, クラスタリング
メディア自体が持つ政治的な偏向（political leaning）よりも

1. 研 究 背 景

メディアが所在する国とより強い関連があることが明らかにさインターネット上でのジャーナリズムはこの数年で大きく変れている．また，2010 年 12 月から中東や北アフリカの各国で化してきたが，Twitter に代表されるソーシャルメディアが普行われた一連の民主化運動「アラブの春（Arab Spring）」で及して以降，特に記事の即時性が重要視されるようになってきは，アルジャジーラ（注 5） がアラビア語で報じたニュースを，アた．ソーシャルメディアを利用することでリアルタイムな情報

ラビア語話者の Twitter ユーザが別の言語に翻訳してツイートを即座に人々に知らしめることができるため，世界中のメディとして発信したことで，世界各国の人々にその運動の実情が知ア（報道機関）やジャーナリストがソーシャルメディアの利用れ渡った経緯がある [2]．このように，他国の実情を知る上で，（注 1）を始めている．Cision の 2013 年の報告書によると，イギ

その国における報道内容を知ることは不可欠であり，そのため

リス，フランス，カナダでは約 90%のジャーナリストがマイクには言語の壁を越えたジャーナリズムを実現する必要がある．

ロブログを仕事に利用しており，調査対象の 9ヶ国の中で最もそこで本研究では，Twitter 上での多言語ジャーナリズムの割合の低いドイツでも 59%のジャーナリストがマイクロブロ

実現に向けて，様々な言語で記述されたメディアおよびジャー

グを仕事に利用していると回答している．また，Lissted（注 2） やナリストによるツイートを対象とし，任意の言語によるクエリ（注 3）など，Twitter 上のメディアやジャーナリスト

でのリアルタイムなツイートの言語横断検索を可能とするシスのキュレーション（curation，情報を収集しまとめること）を

テムを試作する．試作システムでは，9ヶ国語（日本語，英語，

行うサービスも登場している．

韓国語，スペイン語，ポルトガル語，ドイツ語，フランス語，

Muck Rack

ソーシャルメディアを利用したジャーナリズムが世界的に

イタリア語，アラビア語），24ヶ国のメディアおよびジャーナ

広まる一方で，その広まりは言語の壁に阻まれている．前述

リストの Twitter アカウントを対象としている．なお，これらの Lissted や Muck Rack は英語を対象としたサービスであり，のアカウントは，Twitter の「人気のアカウント」機能（注 6） をメディアやジャーナリストのツイートを言語横断的に俯瞰し利用し，プロフィール設定の「コンテンツ」内の「国」の項目

たり検索したりすることはできない．また，日本においても，を変更して各国のメディアあるいはジャーナリストとして挙げ

Togetter（注 4） をはじめとするキュレーションサービスにおいて，られているアカウントを取得している．試作システムは，筆者

母国語である日本語以外のツイートがまとめられることはほとらの知る限りでは，Twitter 上のメディアやジャーナリストにんどない．他国の報道内容を知ることはもちろん，目にする機よるツイートを言語非依存で検索可能とする初めての取り組み

会さえ，ごく一部の翻訳された記事以外ではほとんどないといである．

うのが現状である．
しかし，他国の実情を知るためには，その国で実際にどのような報道が行われているかを知ることが重要である．Sáez-

Trumper らの研究 [1] では，メディアが報じる内容の偏向は，

2. 関 連 研 究
言語横断的に様々なメディアのニュースを扱うシステムは少ないが，その一つとして，欧州委員会（EC）の共同研究センタ（Joint Research Centre）が開発した Europe Media Monitor（注 1）：http://us.cision.com/thought-leadership/2013-social-journalism/（注 2）：http://lissted.com/（注 3）：http://muckrack.com/（注 5）：http://www.aljazeera.net/（注 4）：http://togetter.com/（注 6）：http://twitter.com/who_to_follow/interests

任意の言語でクエリを入力

クエリに関連するツイートをタイムラインとして表示

図 1 試作システムの使用例(EMM)（注 7）[3], [4] が挙げられる．EMM は，EU 圏を中心とす上の研究分野であり，実用的な精度をあらゆる言語間の翻訳でる国のメディアが発信した様々な言語の記事を俯瞰・閲覧・検達成することは難しい．

索することを可能としたシステムであり，およそ 50ヶ国語を対複数の言語を対象としたニュース記事のクラスタリングに関象とし，約 2,200 の Web ニュースサイトの記事を常時収集しする研究は数多く行われている [6] [7] [8] [9] が，これらの技術ている．EMM の主要な機能である NewsBrief では，ほぼリアがシステムに応用・公開された事例はあまり存在していない．

ルタイム（注 8） に各言語で話題となっているトピックを追跡する

その理由として，これらの技術では対象言語に対する対訳コーことができる．これは，直近の数時間の記事を対象として，10

パスあるいは内容的に比較可能なコーパスが必要であり，様々分おきに各言語でクラスタリングを実行し，関連するトピックな言語間でそのようなリソースを準備するのが難しいというこ

ごとに記事を分けることで実現されている．また，クラスタサとが考えられる．また，本研究が対象とするような短文に対しイズの急激な拡大を検知することで，緊急ニュースを発見するての有効性は，上記の研究では確認されていない．

ことも可能である．別の機能である NewsExplorer では，言語横断的な記事の俯瞰・検索を行うことができる（対象言語は 193. 試作システムの概要に限定）．NewsExplorer は，記事中に出現するエンティティ

本研究で試作するシステムの機能は，任意の言語のクエリに（Wikipedia の記事）を利用して，一日おきに言語横断的なク

対し，関連のある全ての言語のメディア・ジャーナリストによラスタリングを行うことで実現されている．このとき，言語間るツイートを表示するというものである．図 1 は試作システムのギャップを埋めるために Wikipedia の言語間リンクが用いらを使用したときの例を表している．図 1 では，「アップルれている．本研究と EMM の技術的な違いとしては，本研究でムスン」という日本語のクエリに対し，日本語，英語，フランはより高度な技術が必要な短文（ツイート）を対象としている

ス語などのメディアのツイートが投稿日時順にタイムラインとことが挙げられる．また，目的という観点においても，本研究して表示されている．また，図では示されていないが，タイムではツイートを対象とし，より報道内容のリアルタイム性を追ラインでは下にスクロールすることで過去のツイートを順にさ求している点で異なる．

かのぼることができる．試作システムのバックエンドでは，リコロンビア大学の NLP グループが開発した Columbia News-サ

アルタイムにメディア・ジャーナリストによるツイートを収集[5] は，各言語のニュース記事を機械翻訳によりすべしているため，表示結果にはクエリ入力時点において最新のツて英語に翻訳することで，異なる言語で記述された記事集合のイートが現れる．なお，試作システムではツイートを翻訳する

分類・要約を行っている．複数の言語から一つの言語に翻訳し，機能は提供していないため，システムを利用するユーザは，翻単一言語に対する手法を適用するアプローチは，機械翻訳の精訳サービスなどを用いてツイートの内容を理解するという作業度に大きく依存する．しかし現状では，機械翻訳はまだ発展途が必要である．

（注 9）

blaster

試作システムを利用することにより，以下のような要求を満（注 7）：http://emm.newsbrief.eu/overview.html（注 8）：ここでいうリアルタイムとは，記事自体のリアルタイム性ではなく，記たすことができると考えられる．

(1) 関心のあるトピックに対し，他国のメディア・ジャーナリ

事が Web ニュースサイトに投稿されてからシステムに反映されるまでほとんどストによる報道内容を入手する．たとえば，2013 年 12 月

遅延がないことを表す．

12 日時点において「シリア内戦」をクエリとして検索した（注 9）：2014 年 1 月現在，公開されている Web システムは多言語に対応していない．

とき，シリア内戦に関してより詳細な，あるいはより最新

の情報が記されていると思われるアラビア語のツイートが出現する Wikipedia の記事を TFIDF [13] や Okapi BM25 [14]

検索結果の半数近くを占めた．

などのスコアの重み付きでベクトル化し，各語から得られた(2) 関心のあるトピックに対し，どの国（あるいはどの言語）

ベクトルの和を入力テキストの特徴ベクトルとして出力する．

のメディア・ジャーナリストが報じているかを調査する．たWikipedia を背景知識とし，Wikipedia の記事のベクトルにとえば，2013 年 12 月 12 日時点において「マンデラ」といよってツイートの情報量を拡張することで，関連するツイート

うクエリで検索したとき，対象とする 9ヶ国語すべてのメ同士を発見しやすくすることができる．

ディアがネルソン・マンデラ南アフリカ共和国元大統領の異なる言語で記述されたツイート間で関連性を発見するため

追悼式典について報道していた．また，2013 年 12 月 10 日には，前述の情報量の拡張に加えて，さらに言語空間の統一を行に竹島は日本の領土であると解説する動画を日本の外務省う必要がある．ESA の場合，Wikipedia の言語間リンクを用いが 9ヶ国語で公開したことに対し，翌日に韓国外交省が抗議た拡張手法である Cross-Lingual Explicit Semantic Analysis

したが，2013 年 12 月 12 日時点において「竹島」というク(CL-ESA) [15] という拡張手法によって解決できる．CL-ESA

エリで検索したところ，日本語，韓国語，英語のメディア

では，ESA によって得られた Wikipedia の記事のベクトルにのみがこの出来事について報じていた．

おいて，言語間リンクが存在する記事のみを利用することで，(3) 関心のあるトピックに対し，各国のメディア・ジャーナリ

2 つの異なる言語で記述されたテキスト間の関連度を計算する．

ストがそれぞれどのように報じているかを調査する．たと

本研究では，言語間リンク数が最も多い英語版 Wikipedia をベ

えば，2013 年 12 月 11 日に国際宇宙ステーションの冷却装

クトルの基底として設定し，CL-ESA を適用する．すなわち，

置が停止するという事故が発生したが，2013 年 12 月 12 日

英語以外の言語のツイートに対して付与された Wikipedia の時点において「宇宙ステーション」というクエリで検索し記事のベクトルを，言語間リンクを用いて英語の言語空間に移たところ，様々な国でこの事故について報じられていた中し，英語版 Wikipedia の記事のベクトルとして表現する．こので，日本では日本人宇宙飛行士の若田光一の安否について

とき，言語間リンクが存在しない記事は無視される．
入力テキスト T に含まれる語を t，入力テキスト T の言語を言及するといった報道が行われていた．

4. 試作システムの要素技術
試作システムでは，複数の言語で記述されたツイートを類似

L，言語 L の Wikipedia で定義されている記事を e(L) とする．
(L)

ESA によって得られるベクトル V ESA (T ) は，以下の式により得られる．

するトピックごとにあらかじめクラスタリングしておくことで，∑(L)

V ESA (T ) =検索クエリに対して高速に関連するツイートの集合を取得する．

v (L) (tk )

(1)

tk ∈T

このとき，異なる言語で記述された，文字数の少ない（情報量(L)の少ない）ツイートに対し，どのように関連度を計算するか，

ただし，ベクトル v (L) (tk ) の ejということが技術的課題となる．また，メディアやジャーナリ

tk の記事 ej

ストはリアルタイムにツイートを発信し続けるため，ツイート

いて定義される．

(L)を逐次的にクラスタリングすることが課題として挙げられる．

成分におけるスコアは，語(L)に対する BM25 のスコア SBM 25 (tk , ej ) を用

(L)

(L)

v (L) (tk )[ej ] = SBM 25 (tk , ej )加えて，任意の言語の検索クエリに対して関連するツイート集(2)

合を取得するため，クエリに関連のあるクラスタを発見する検なお，BM25 の代わりに TFIDF など別のスコア関数を用いて索技術が必要である．これらの課題に対し，継続的にシステム

もよい．

CL-ESA によって得られるベクトルを V CLESA (T, L) とすを運用可能な程度に計算量を抑えることが不可欠である．以下(“English′′ )の節では，上記の課題を解決するための要素技術について説明

る．V CLESA (T, L) の ej

する．

て導出できる．

4. 1 CL-ESA による関連度計算(“English′′ )VCLESA (T, L)[ej

文字数の少ないツイートにおいては，Song らの研究 [10] で(“English′′ )

(L)

(L)

成分は，V ESA (T ) を用い

(L)

(L)

] = VESA (T )[ej ](3)も示されているように，Bag-of-Words や LDA [11] などの入力

ej

データのみを使用した手法が関連度計算（あるいは意味的距離の記事である．最終的に，言語 L のテキストは，共通する基底計算）に対してうまく機能しない．これは，短文においては，を持つ特徴ベクトル V CLESA (T, L) によって表現できる．このテキスト自体が持つ情報量が少なく，入力データの情報のみか

特徴ベクトルを用いることで，異なる言語で記述されたツイー

らでは関連性の発見に限界があるためである．このような問題

ト間の関連度を計算できる．

を解決するには，何らかの方法であらかじめ背景知識を蓄えておき，その知識を利用して情報量を増やすアプローチが有効で
ある．

は ej

への言語間リンクを持つ英語版 Wikipedia

4. 2 逐次的クラスタリング
ツイートは常時発信されるため，これをリアルタイムにシス
テムに反映するためには，逐次的にツイートのクラスタリング

そこで本研究では，Wikipedia の記事のベクトルとしてテキを行う必要がある．ツイートのようなストリームデータに対すストの特徴を表現する Explicit Semantic Analysis (ESA) [12]るクラスタリング手法はこれまで数多く提案されてきたが，本を採用する．ESA では，入力テキストの各語について，その語が研究では dp-means [16] をストリームデータ向けに簡素化した手法（one-pass dp-means）を用いる．dp-means は k-means

している．また，クラスタの特徴ベクトルの更新にかかる計算とよく似ているが，あらかじめクラスタの数を指定する必要が量が大きいため，式 (4) の代わりに以下の式を用いている．

ないため，ツイートのクラスタリングなど，クラスタの数が予測できない場合においても適用できる．また，次節のベクトル

W CLESA (l) = V CLESA (xf irst , Lf irst )(5)

空間モデルによるクラスタ検索において，クラスタリングの性

xf irst はクラスタに初めて追加されたツイート，Lf irst は xf irst能に対する要求はあまり高くないことから，試作システムではの言語である．一つのツイートの特徴ベクトルでクラスタの特dp-means を簡素化した手法で十分であると判断した．

徴ベクトルを代表させることにより，クラスタリングの性能が以下に，dp-means アルゴリズム [16] と，これを簡素化した

低下する可能性があるが，リアルタイム処理を必要とする本試

one-pass dp-means アルゴリズムを示す．

作システムでは計算量を重視し，式 (5) をクラスタの特徴ベク

dp-means アルゴリズム

トルとして用いた．

(1) データ x1 , · · · , xn と関連度の閾値 λ を入力とする．

4. 3 ベクトル空間モデルによるクラスタ検索(2) 各入力データ xi についてクラスタラベル zi = 1 とし，ク

CL-ESA による特徴ベクトルで表現されたクラスタを効率よ

ラスタラベルにしたがってクラスタ l1 = {x1 , · · · , xn } を生く検索するため，検索クエリについても同様に CL-ESA による成，クラスタ数 K = 1 とする．

特徴ベクトルで表現し，ベクトル空間モデルにおいて検索を行(3) 各入力データ xi について最も関連度の高いクラスタ lj との関連度 r を算出し，r > λ ならば zi = j を代入，r <=λう．これにより，クエリを用いたクラスタの検索が可能になる

ならば zi = K + 1 を代入した後に K = K + 1 として更新

わち，任意の言語のクエリで関連のあるクラスタを検索できる．

する．

だけでなく，クエリに対しても言語非依存性が保たれる．すな
ベクトル空間モデルによる検索では，検索クエリの特徴ベク(4) 各クラスタラベル zi にしたがってクラスタ l1 , · · · , lK を生成する．

トルと関連度の高いクラスタを発見する必要がある．そこで，クラスタの特徴ベクトルについて転置索引を作成しておき，検(5) (3), (4) を収束するまで繰り返す．

索クエリの特徴ベクトルから効率よく関連のありそうなクラス(6) クラスタ l1 , · · · , lK を出力とする．

タを探索する（この方法は前節でツイートから最も関連度の高

one-pass dp-means アルゴリズム

いクラスタを探す際にも使用している）．その後，クエリとク(1) データ x，関連度の閾値 λ，クラスタ l1 , · · · , lK を入力とラスタとの関連度を計算し，閾値以上のクラスタをまとめて出する．

力する．この閾値を変更することで，クエリに対してどの程度(2) 入力データ x について最も関連度の高いクラスタ lj との関連度 r を算出し，r > λ ならば x を lj に追加，r <=λな

関連しているクラスタまでを出力とするか，という粒度を調整

らばクラスタ lK+1 = {x} を生成した後に K = K + 1 とし

ここで，クラスタの性能と検索結果について考える．出力はて更新する．

できる．
クラスタ単位で行われるため，一つのクラスタの中に関連のな(3) クラスタ l1 , · · · , lK を出力とする．

い二つのツイートが含まれていた場合，クエリに対して関連のone-pass dp-means は dp-means と手順が似ているが，繰り返ないツイートが検索結果に含まれてしまう．一方，関連のあるし処理を省くことにより，過去のデータを一切変更することな二つのツイートが別々のクラスタに属していた場合は，検索時

くクラスタを更新し続けられるという利点がある．そのため，に両方のクラスタが出力に含まれていれば問題ない．したがっクラスタの管理が容易であり，また，それにかかる計算量を抑て，クラスタリングの性能に対する要求としては，関連のないえることができる．本研究では，リアルタイムに発生し続ける

ツイートが一つのクラスタにまとめられることに関しては許容

ツイートに対して，one-pass dp-means を適用する．これによできないが，関連のあるツイートが複数のクラスタに分断されり，ツイートストリームに対して逐次的にクラスタリングを実ることに関しては許容できる．この要求は，前節のクラスタリ

行できる．

ングにおいて関連度の閾値 λ を高めに設定しておけば達成でツイートのクラスタリングは，前節で説明した CL-ESA による特徴ベクトルを素性として行う．すなわち，言語 L のツイー

きる．
入力クエリ q に対し，関連の強いクラスタの集合 A を取得

ト x に対し，V CLESA (x, L) を特徴ベクトルとする．また，クするアルゴリズムは，以下のとおりである．

ラスタ l の特徴ベクトル W CLESA (l) は以下の式で表される．

クラスタ検索アルゴリズム

W CLESA (l) =∑V CLESA (xi , Li )

(4)

xi ∈l

なお，Li はツイート xi の言語である．x と l の関連度 r は，

V CLESA (x, L) と W CLESA (l) のコサイン類似度により算出する．
システム実装上では，非零成分のみを用いたコサイン類似度の計算を行うため，特徴ベクトルのノルムをすべて 1 に正規化

(1) クエリ q ，クエリの言語 L，閾値 λq を入力とする．
(2) 空の出力クラスタ集合 A を生成する．
(3) 特徴ベクトル V CLESA (q, L) を生成する．
(“English′′ )(4) V CLESA (q, L) の各非零成分 ej

について，それを非零成分として含むベクトルを持つクラスタ集合 C を取得する．

(5) 各 ク ラ ス タ lk

∈ C に つ い て ，V CLESA (q, L) とW CLESA (lk ) のコサイン類似度 rk を算出した後，rk > λq

ツイート収集部

ユーザ端末

ツイートストリーム取得

特徴ベクトル付与
クエリ

クラスタ

クラスタリング

ツイート

クラスタ

ツイート

特徴ベクトルWebサーバ

データベースツイート

クラスタ

特徴ベクトル

特徴ベクトル

所属クラスタ

クエリ処理部
図 2 試作システムの構成である場合のみ，lk を A に追加する．

(6) クラスタ集合 A を出力とする．

5. 試作システムの開発
4. 章で説明した要素技術を組み合わせ，試作システムを開発した．図 2 に開発したシステムの概要を示す．システムは大きくツイート収集部とクエリ処理部に分けられる．

であった場合は ESA を適用するが，他の言語との公平性のため，言語間リンクの一切存在しない記事は無視する．ベクトルの性能とストレージの容量，コサイン類似度の計算にかかる計算量を考慮し，特徴ベクトルの非零成分をスコアの大きい 200
記事のみとした後，ベクトルのノルムを 1 に正規化している．
特徴ベクトルが付与されたツイートは逐次的にクラスタリン
グされる．ここでは，one-pass dp-means 手法を用いて，すで

5. 1 ツイート収集部に生成済みのクラスタにツイートを加えるか，あるいは新たにツイート収集部は，さらにツイートストリーム取得，特徴ベ

クラスタを生成するかを決定する．生成済みのクラスタにツクトル付与，クラスタリングの三つの処理に分けられる．これ

イートを加える場合，そのクラスタの特徴ベクトルは更新しならの処理は別のプログラムとして起動し続けており，各プログ

い．新たにクラスタを生成する場合，ツイートの特徴ベクトル

ラムはそれぞれ獲得したデータをデータベースに保存する．こを新規クラスタの特徴ベクトルとして保存する．試作システム

れは，プログラムの部分的な修正に対して全体の処理を止めてでは，関連性のないツイートが同じクラスタに含まれないよう，しまうことを防ぐものである．

one-pass dp-means における関連度の閾値を 0.25 に調整した．

まず，Twitter Streaming API（注 10） を用いて，メディアおよ

CL-ESA による特徴ベクトルは数百万の次元（言語間リンクをびジャーナリストのツイートを収集する．具体的には，あらか持つ英語版 Wikipedia の記事の数）を持つため，非零成分の数

じめメディア・ジャーナリストをフォローした Twitter アカウ

を 200 としたベクトル間のコサイン類似度が 0.25 であること

ント（注 11）を用意しておき，API の一つである User streams には，非常によく似たベクトルであることを意味している．

より，フォローしているアカウントのツイートをリアルタイム

これら三つの処理により，ツイート，特徴ベクトル，所属クに収集する．なお，メディア・ジャーナリストのアカウント収

ラスタのデータがそれぞれ生成される．また，クラスタリング

集には Twitter 公式の「人気のアカウント」機能を利用した．

の処理では，クラスタと特徴ベクトルが生成される．得られたアカウントを収集する言語の種類は日本語，英語，韓国語，ス

データは，順次データベースに格納しておき，クエリ処理に備

ペイン語，ポルトガル語，ドイツ語，フランス語，イタリア

える．一度データベースに登録されたデータは更新されないた語，アラビア語の 9ヶ国語とし，結果として 24ヶ国のメディア・め，継続的なシステムの運用を行いやすい．

ジャーナリストのアカウント（アカウント数 613）が得られた．

5. 2 クエリ処理部

収集したツイートは，即座に CL-ESA によって特徴ベクト

クエリ処理部では，ユーザのクエリ発行に対して，サーバがルを付与される．具体的には，ツイートの言語判定を行った後，クエリから特徴ベクトルを生成した後，その特徴ベクトルを用

その言語に対応した CL-ESA を適用し，英語の Wikipedia のいてデータベースから関連するクラスタを検索する．クエリか記事によるベクトルを生成する．なお，ツイートの言語が英語ら得られた特徴ベクトルの非零成分でそれぞれクラスタを検索した後，クラスタごとにクエリとの関連度を算出し，閾値以上（注 10）：http://dev.twitter.com/docs/streaming-apis（注 11）：http://twitter.com/mljournalismの関連度となるクラスタをすべて列挙する．関連度はベクトル

同士のコサイン類似度を用いる．ここで，特徴ベクトルのノル
ムは 1 に正規化されているため，非零成分どうしのみの計算により，コサイン類似度を計算できる．

[2]
[3]

クラスタ検索における閾値は，ツイート収集部のクラスタリ
ングにおける閾値よりも低く設定することで，クエリに対して直接関連しているクラスタだけでなく，間接的に関連している[4]

クラスタも取得することができる．これをユーザ側で調整できるようにすることで，ユーザの要求に合致した粒度でツイートを検索できる．検索結果のクラスタに含まれるツイートのうち，[5]最新のものから一定数をタイムラインとしてユーザ端末に表示する．さらに過去のツイートを取得したい場合，ユーザ端末からクラスタを指定して再度ツイートを取得することができる．

6. まとめと今後の課題[6]

本研究では，多言語ジャーナリズムの実現に向けて，メディ
アやジャーナリストが発信したツイートを言語横断的に検索可[7]

能なシステムを試作した．試作システムでは，リアルタイムに収集した様々な言語のツイートを，統一された基底を持つベク
トルによって表現し，ベクトル間の関連度が高いツイート集合
を一つのクラスタとしてまとめる．また，検索クエリも同様に，[8]同じ基底のベクトルによって表現する．これにより，クエリに関連する最新のツイートを言語の種類に関わらず取得できる．
検索クエリについても言語非依存であるため，任意の言語のク[9]エリから任意の言語のツイートを検索できる．試作システムは，9ヶ国語（日本語，英語，韓国語，スペイン語，ポルトガル語，
ドイツ語，フランス語，イタリア語，アラビア語），24ヶ国の[10]

メディアおよびジャーナリストの Twitter アカウントを対象としている．試作したシステムは Web（注 12） 上で公開している．
今後の課題としては，ESA による特徴ベクトル付与の精度向[11]上が挙げられる．筆者らの先行研究 [17] では，ESA よりも精度よく特徴ベクトルを生成する手法を提案してきたが，この手[12]法の多言語拡張 [18] に関する研究では現在，言語による差異の少ないベクトル生成手法を検討している．システムを利用する
ユーザの観点からみたとき，対応言語の増加，インタフェース[13]やデザインの検討，絞り込み機能の追加なども重要な課題である．また，現在はユーザがブラウザなどの翻訳機能を利用して[14]

ツイートを解釈することを想定しているが，検索結果を自国の言語に翻訳して表示する機能も必要であると考えている．

謝

[15]

辞

本研究の一部は文部科学省国家課題対応型研究開発推進事[16]

業−次世代 IT 基盤構築のための研究開発−「社会システム・
サービスの最適化のための IT 統合システムの構築」（2012 年
度〜2016 年度）の助成による．
文

献[1] D. Sáez-Trumper, C. Castillo and M. Lalmas: “Social Media News Communities: Gatekeeping, Coverage, and Statement Bias”, Proceedings of ACM International Conference（注 12）：http://mljournalism.com/

[17]

[18]

on Information and Knowledge Management (CIKM), pp.
1679–1684 (2013).
津田大介：“ウェブで政治を動かす！”, 朝日新聞出版 (2012).
M. Atkinson and E. V. der Goot: “Near Real Time Information Mining in Multilingual News”, Proceedings of International World Wide Web Conference (WWW), pp. 1153–
1154 (2009).
R. Steinberger, B. Pouliquen and E. van der Goot: “AnIntroduction to the Europe Media Monitor Family of Applications”, Proceedings of SIGIR Workshop on Information
Access in a Multilingual World, pp. 1–8 (2009).
D. K. Evans, J. L. Klavans and K. R. McKeown: “Columbia
Newsblaster: Multilingual News Summarization on theWeb”, Proceedings of Human Language Technology Conference of North American Chapter of the Association for
Computational Linguistics (HLT-NAACL): Demonstration
Papers, pp. 1–4 (2004).
B. Mathieu, R. Besançon and C. Fluhr: “Multilingual Document Clusters Discovery”, Proceedings of RIAO Conference, pp. 116–125 (2004).
S. Montalvo, R. Martı́nez, A. Casillas and V. Fresno: “Multilingual Document Clustering: An Heuristic Approach
Based on Cognate Named Entities”, Proceedings of International Conference on Computational Linguistics and Annual
Meeting of the Association for Computational Linguistics(COLING-ACL), pp. 1145–1152 (2006).
C.-P. Wei, C. C. Yang and C.-M. Lin: “A Latent Semantic Indexing-based Approach to Multilingual Document
Clustering”, Decision Support Systems, 45, 3, pp. 606–620(2008).
D. Yogatama and K. Tanaka-Ishii: “Multilingual Spectral
Clustering Using Document Similarity Propagation”, Proceedings of Conference on Empirical Methods in Natural
Language Processing (EMNLP), pp. 871–879 (2009).
Y. Song, H. Wang, Z. Wang, H. Li and W. Chen: “Short
Text Conceptualization Using a Probabilistic Knowledgebase”, Proceedings of International Joint Conference on Artificial Intelligence (IJCAI), pp. 2330–2336 (2011).
D. M. Blei, A. Y. Ng and M. I. Jordan: “Latent Dirichlet
Allocation”, Journal of Machine Learning Research, 3, pp.
993–1022 (2003).
E. Gabrilovich and S. Markovitch: “Computing Semantic
Relatedness using Wikipedia-based Explicit Semantic Analysis”, Proceedings of International Joint Conference on Artificial Intelligence (IJCAI), pp. 1606–1611 (2007).
G. Salton and C. Buckley: “Term-weighting Approaches
in Automatic Text Retrieval”, Information Processing andManagement, 24, 5, pp. 513–523 (1988).
S. E. Robertson, S. Walker, S. Jones, M. Hancock-Beaulieu
and M. Gatford: “Okapi at TREC-3”, Proceedings of Third
Text REtrieval Conference (TREC-3) (1994).
P. Sorg and P. Cimiano: “Cross-lingual Information Retrieval with Explicit Semantic Analysis”, Working Notes for
the CLEF 2008 Workshop (2008).
B. Kulis and M. I. Jordan: “Revisiting k-means: New Algorithms via Bayesian Nonparametrics”, Proceedings of International Conference on Machine Learning (ICML), pp.
513–520 (2012).
M. Shirakawa, K. Nakayama, T. Hara and S. Nishio: “Probabilistic Semantic Similarity Measurements for Noisy Short
Texts Using Wikipedia Entities”, Proceedings of ACM
International Conference on Information and Knowledge
Management (CIKM), pp. 903–908 (2013).
中村達哉, 白川真澄, 原隆浩, 西尾章治郎：“Wikipedia の記事を素性としたヘクトルの生成による短文間の言語非依存な関連度計算”, 日本データベース学会論文誌, 12, 2, pp. 7–12 (2013).